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ПРЕДИСЛОВИЕ 


В последнее время руководители системы высшего профессионального 
образования уделяют внимание изучению методов создания интеллек- 
туальных систем, включая в учебные программы вузов дисциплины 
под названиями: 
«Интеллектуальные информационные системы»; 
«Системы искусственного интеллекта»; 
«Нейронные сети»; 
«Интеллектуальные системы»; 
«Интеллектуальные системы и технологии»; 
«Интеллектуальные технологии»; 
«Основы искусственного интеллекта»; 
«Прикладные методы искусственного интеллекта»; 
«Интеллектуальный анализ данных». 
В чрезвычайно высокой востребованности указанных дисциплин 
автор этой книги многократно убеждался, сотрудничая со многими 
фирмами — разработчиками и пользователями ІТ-продукции, а также 
читая эти дисциплины во многих университетах. Как показывает 
опыт, изучение методов создания интеллектуальных систем обычно 
не ограничивается сдачей зачетов и экзаменов. Освоив теоретическую 
базу и технологии создания интеллектуальных систем, студенты 
продолжают их применять при выполнении курсовых, дипломных, 
магистерских, кандидатских и докторских работ. Уже после окончания 
вуза выпускники делают себе карьеру, создают свои собственные 
инновационные предприятия, разрабатывая и внедряя интеллекту- 
альные информационные системы в экономике, в промышленности, 
в бизнесе, в политологии и социологии, в медицине и криминалистике, 
педагогике и психологии и т.д. Причем сфера их деятельности 
и внедрений постоянно расширяется, а успехи умножаются. 

Как заметил известный польский специалист в области нейросете- 
вых технологий Рышард Тадеусевич в своей последней книге), «мода 
на применение [методов искусственного интеллекта] продолжается 


0 Элементарное введение в технологию нейронных сетей с примерами 
программ / Пер. с польск. И. Д. Рудинского. — М.: Горячая линия — Телеком, 
2011. — 408 с. 
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и даже расширяется... В некоторых кругах незнание нейронных сетей 

начинает трактоваться как светская бестактность! ... Восхищение ней- 

ронными сетями имеет вполне конкретные и важные причины. Главная 
предпосылка их огромной популярности — действительно прекрасные 
результаты, получаемые с помощью этого нового инструментария при 
решении многих задач, издавна считавшихся особо сложными». 

Назовем несколько таких «прекрасных результатов», полученных 
студентами и аспирантами вузов и сотрудниками предприятий под 
руководством и при участии автора этой книги. 

1. Разработана система диагностики авиационных двигателей, по 
точности и спектру обнаруживаемых дефектов превосходящая 
существующие инженерные методики”. 

2. В 2006 г. была спрогнозирована победа Д. А. Медведева на прези- 
дентских выборах 2008 г. Прогноз?) был опубликован в 2007 г. — 
за полтора года до выборов, когда личность Д. А. Медведева как 
политика еще была мало известна и его победа на выборах мало 
кем ожидалась, однако прогноз нейронной сети оказался верным. 

3. В 2008 и 2010 гг., когда президент Д. А. Медведев находился на 
вершине своей популярности, были опубликованы работы 3%, 
в которых искусственный интеллект прогнозировал ему сниже- 
ние рейтинга, тогда как другому политику — В. В. Жириновскому, 
прогнозные кривые предсказали постепенный рост популярности, 
что и наблюдалось в последующие годы. 

4. В 2013г. выполнен и опубликован? подтвердившийся впослед- 
ствииб) прогноз места в неофициальном командном зачете рос- 
сийских спортсменов на Зимней Олимпиаде-2014. Кроме того, 
были разработаны рекомендации по улучшению результативности 


0 Конев С. В., Сичинава З. И., Ясниикий Л. Н. Применение нейросетевых 
технологий для диагностики неисправностей авиационных двигателей. Вестник 
Пермского университета. Серия: Математика. Механика. Информатика. 2005. 
№ 2. С. 43—47 с. 

2) Ясницкий Л. Н. Интеллектуальные информационные технологии и системы. 
Пермь: Пермский университет, 2007. 271 с. 

3) Ясниикий Л. Н. О возможностях применения методов искусственного интел- 
лекта в политологии // Вестник Пермского университета. Серия: Политология. 
2008. № 2. С. 147—155. 

4) Ясницкий Л. Н., Черепанов Ф. М. О возможностях применения нейросетевых 
технологий в политологии // Нейрокомпьютеры: разработка, применение. 2010. 
№ 8. С. 47—53. 

5) Ясниикий Л. Н., Павлов И. В., Черепанов Ф. М. Прогнозирование резуль- 
татов Олимпийских игр 2014г. в неофициальном командном зачете методами 
искусственного интеллекта // Современные проблемы науки и образования. — 
2013. — №6; ПВГ: Һќёр:/ /уууу.ѕсіепсе-ейисабіоп.ги/113\пођгеакдаѕһ- 11206 
(дата обращения: 25.12.2013). 

6) пир: / /ууу.рѕи.ги/пеуѕ/рговпог-исһепукћ-репіи-оКаға!іѕуа-уегпут. 
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отдельных спортсменов). Некоторые из этих рекомендаций были 
учтены тренерами и дали результат на Олимпиаде-20142. 

5. В ходе разработки и исследований нейросетевой системы диагности- 
ки заболеваний сердечно-сосудистой системы методами искусствен- 
ного интеллекта выявлены новые медицинские знания, в результате 
чего, после обсуждений с авторитетными врачами-экспертами, 
сделан вывод) о необходимости корректировки существующей 
практики профилактики и лечения кардиологических заболеваний. 

6. На сайте Пермского отделения Научного совета РАН по методоло- 
гии искусственного интеллекта ууу. РегтАТ.ги в разделе «Проекты» 
в свободном доступе выложены программы, позволяющие: прогно- 
зировать вероятность банкротства российских банков; выявлять 
способности людей к научной деятельности и к руководящей 
деятельности; прогнозировать успешность карьеры студентов после 
окончания вуза; прогнозировать прочность семьи; выявлять пред- 
расположенность людей к наркозависимости, к суициду, к насилию, 
к анорексии; ставить диагнозы заболеваний сердечно-сосудистой 
системы и выполнять прогнозирование их развития на ближайшие 
годы. Воспользовавшись указанными программами, читатели этой 
книги могут выбрать для себя сферу деятельности, занимаясь ко- 
торой они добьются наибольших успехов; определять оптимальную 
для себя траекторию обучения в вузе; определять оптимальные 
для себя меры по снижению их предрасположенности к таким 
заболеваниям, как наркомания, суицид, анорексия; поставить себе 
диагнозы заболеваний сердечно-сосудистой системы и определить 
оптимальные для себя меры по излечению этих заболеваний; 
проверять насколько надежен банк, выбранный для хранения 
сбережений. 

Являясь председателем Пермского отделения Научного совета по 
методологии искусственного интеллекта Российской академии наук, 
сотрудником нескольких ІТ-фирм, профессором пяти университетов, 
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Глава 1 


ПРОШЛОЕ И НАСТОЯЩЕЕ 
ИСКУССТВЕННОГО ИНТЕЛЛЕКТА 
И ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ 


1.1. ИСТОРИЧЕСКИЙ ОЧЕРК 


Человек — это самый сложный из доступных для нашего восприятия 
объект, а способность мышления — его главное свойство — атрибут. 
Искусственный интеллект — это наука, целью которой является 
изучение и моделирование атрибута человека — мышления. 

Какова природа мышления? Какие процессы происходят в нашем 
организме, когда мы думаем, чувствуем, видим, понимаем? Возможно 
ли в принципе понять, как работает наш мозг, и заставить мыслить 
неживую материю? На протяжении тысячелетий человек задавался 
этими вопросами, но до сих пор мы не можем ответить на них 
с полной определенностью. 

Попытки понять и формализовать механизм мышления человека 
имеют давнюю историю. Еще Платон (У в. до н.э.), Аристотель (У в. 
до н. э.), Рене Декарт (1596—1650), Бенедикт Спиноза (1632—1677), 
Готфрид Вильгельм Лейбниц (1646—1716), Джордж Буль (1815—1864) 
и многие другие исследователи на уровне современных им знаний 
стремились описать мышление как совокупность некоторых элемен- 
тарных операций, правил и процедур. В полном объеме формальная 
аксиоматизация логических рассуждений представлена в работах таких 
великих философов, как Фридрих Людвиг Готлоб Фреге (1848—1925), 
Бертран Артур Уильям Рассел (1872—1970), Курт Гёдель (1906—1978). 

Первую, зафиксированную в истории попытку создания машины, 
моделирующей человеческий разум, связывают с именем средневе- 
кового испанского рыцаря, поэта, философа, богослова, алхимика, 
изобретателя Раймунда Луллия (1235—1315). Представляет огромный 
интерес сама личность этого человека (рис. 1.1). Любимец короля, 
дуэлянт и повеса, как о нем пишут историки, рыцарь Раймунд 
Луллий в возрасте 24 лет вдруг неожиданно отказывается от светских 
развлечений и идет в монастырь, чтобы стать мудрецом. Согласно ле- 
генде, его решение продиктовано весьма благородной целью — постичь 
науки и с их помощью излечить от тяжелой болезни свою даму сердца. 

К сожалению, истории неизвестно, удалось ли Луллию достичь 
своей благородной цели. Известно только, что в возрасте 80 лет во 
время жаркого спора его насмерть забили камнями оппоненты — те, 
кто были не согласны с учением Луллия... 
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Рис. 1.1. Статуя Раймунда Луллия в Барселонском университете 


Во времена Луллия, а это был ХШ в., ученые занимались поиском 
неких универсальных понятий и истин, которые, будучи связанны- 
ми между собой, давали бы общую картину мироздания, а значит, 
и ответы на все интересующие человечество вопросы. Это был век 
философов-мудрецов, астрологов и алхимиков, занятых поисками 
философского камня. 

Развивая традиции ученых своего времени, Луллий сконструиро- 
вал механическое устройство, состоящее из системы кругов (рис. 1.2), 
имеющих возможность вращаться. Каждый круг был поделен на сек- 
торы, окрашенные в разные цвета и помеченные латинскими буквами. 
Круги соединялись друг с другом и приводились во вращение. В ре- 
зультате получались различные сочетания символов и цветов — так 
называемая «формула истины». 

Машины Луллия могли работать в различных предметных обла- 
стях и давать ответы на всевозможные вопросы, составлять гороскопы, 
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Рис. 1.2. Один из кругов логической машины Луллия 


ставить диагнозы болезней, делать прогнозы на урожай. В наиболее 
позднем варианте машина Луллия состояла из 14 кругов, размеченных 
буквами и раскрашенных в различные цвета, которые символизирова- 
ли различные понятия, элементы, стихии, субъекты и объекты знания. 
Круги приводились в движение системой рычагов. Поворачиваясь, они 
могли образовать около 18 квадриллионов (18 . 1015) разнообразных со- 
четаний буквенных и цветовых «истин». Запросы в машину вводились 
с помошью поворота внутреннего круга, на котором было начертано 
девять вариантов вопросов: «Что?», «Почему?», «Из чего?», «Сколько», 
«Каким образом?», «Где?», «Когда?», «Какое?», «Которое из двух?». 
По существу, машина Луллия представляла собой механическую 
экспертную систему, наделенную базой знаний, устройствами ввода 
и вывода, естественным языком общения. Свести к логическим опе- 
рациям если не все знания о мире, то хотя бы часть из них, а затем 
поручить не человеческому мозгу, а механическому устройству про- 
цедуру вывода «формул знания», следующих из накопленной базы 
знаний, — эта идея искусственного интеллекта. Впервые она была вы- 
сказана и реализована средневековым рыцарем Раймундом Луллием, 
прожила семь веков и достигла в наши дни своего расцвета и триумфа. 
В 40-х гг. ХХ в. с появлением электронно-вычислительных машин 
искусственный интеллект обрел второе дыхание. Произошло выделение 
искусственного интеллекта в самостоятельное научное направление. 
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Сам термин «искусственный интеллект» (агіібсіа! іпіеШеепсе) был пред- 
ложен в 1956 г. на семинаре с аналогичным названием, проводимом 
в Стэнфордском университете (США). 

С тех пор история искусственного интеллекта представляла собой 
постоянные споры и метания между двумя крайностями — оптимизмом 
и пессимизмом. Интересны знаменитые предсказания американского 
экономиста и социолога, исследователя в области теории управле- 
ния, моделирования социальных процессов, нобелевского лауреата 
Герберта Саймона, сделанные в 1957 г. Приведем некоторые из этих 
предсказаний: 

® в ближайшее десятилетие ЭВМ завоюет титул чемпиона мира 

по шахматам; 

® в пределах десяти лет ЭВМ откроет и сумеет доказать важную 

новую математическую теорему; 

® в десятилетний срок большинство теорий в области психологии 

примет вид программ для вычислительной машины. 

Сейчас, спустя более полувека, мы видим, что предсказания Г. Сай- 
мона постепенно сбываются, что он ошибался только в сроках. Мы 
также можем отметить, что эйфория вокруг искусственного интеллекта 
имела как положительные, так и отрицательные последствия. С од- 
ной стороны, она стимулировала интерес общественности к новому 
научному направлению, выразившийся в выделении крупных грантов 
правительством США. С другой стороны, искусственный интеллект 
стал объектом весьма резкой критики более «трезвомыслящих» уче- 
ных. Мы также знаем, к каким тяжелым последствиям привела эта 
критика в СССР, когда за решение проблем научных дискуссий взялся 
государственный репрессивный аппарат: кибернетика была объявлена 
«буржуазной лженаукой», а те, кто ей занимался, — «врагами народа». 

Вскоре после признания искусственного интеллекта самостоятель- 
ной отраслью науки произошло его разделение на два основных 
направления: нейрокибернетику и кибернетику «черного ящика». 
Подход к созданию интеллектуальных систем, используемый в ней- 
рокибернетике, иногда называют низкоуровневым, или восходящим, 
а в кибернетике черного ящика — высокоуровневым, или нисходящим. 

Основную идею нейрокибернетики можно сформулировать следу- 
ющим образом: «Единственный объект в природе, способный мыс- 
лить, — это человеческий мозг, поэтому любое мыслящее устройство 
должно быть обязательно выполнено по образу и подобию человече- 
ского мозга, воспроизводить его структуру и его принцип действия». 
Таким образом, нейрокибернетика занимается моделированием струк- 
туры мозга и его деятельности. 

Как известно, мозг человека состоит из большого количества взаи- 
мосвязанных нервных клеток — нейронов. Поэтому усилия нейрокибер- 
нетиков сосредоточены на разработке элементов, подобных нейронам, 
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и объединении этих элементов в системы — нейросети и нейроком- 
пьютеры. Первые нейросети и нейрокомпьютеры были созданы аме- 
риканскими учеными — Уорреном Мак-Каллоком, Уолтером Питтсом 
и Фредериком Розенблаттом в конце 1950-х гг. Это были устройства, 
моделирующие человеческий глаз и его взаимодействие с мозгом. 
Устройства умели распознавать буквы алфавита. 

В отличие от нейрокибернетики кибернетика «черного ящика» не 
придает значения структуре и принципу действия мыслящего устрой- 
ства. Главное, чтобы оно адекватно моделировало самый высокий 
уровень деятельности мозга — уровень интеллектуальных функций. 
Это направление искусственного интеллекта ориентировано на по- 
иски алгоритмов решения интеллектуальных задач с использованием 
существующих компьютеров независимо от их аппаратной базы. 

Поставив перед собой задачу моделирования функций мозга, пред- 
ставители этого научного направления столкнулись с серьезной про- 
блемой. Оказалось, что, несмотря на многовековую историю иссле- 
дований, ни одна из существующих наук (философия, психология, 
лингвистика и др.) не смогла предложить сколько-нибудь конкретный 
алгоритм человеческого мышления. Поэтому программистам пришлось 
создавать собственные модели мышления. 

В конце 50-х гг. ХХ в. появилась модель лабиринтного поиска. Со- 
гласно этому подходу, решение интеллектуальной задачи выполнялось 
путем перебора огромного количества вариантов, которое представ- 
лялось в виде движения по лабиринту. В настоящее время модель 
лабиринтного поиска признается тупиковой и имеет ограниченное 
использование в игровых компьютерных программах. 

В начале 1960-х гг. началась эпоха эвристического программи- 
рования. Как писал автор этого термина, американский математик 
П. Пойа, «цель эвристики — исследовать методы и правила, как делать 
открытия и изобретения». 

Это очень сложная проблема. Дело в том, что Архимед, выпрыг- 
нувший из ванны с криком «Эврика!», никому не объяснил, как он 
догадался, что тело, погруженное в жидкость, теряет в своем весе 
ровно столько, сколько весит вытесненный им объем воды. Нью- 
тон открыл свой закон всемирного тяготения, наблюдая за падением 
яблока. Менделеев увидел принцип построения Периодической табли- 
цы во сне. Поэтов и музыкантов вдохновляют на творческие поиски 
возвышенные чувства, разобраться в которых в принципе невозможно. 

Чтобы понять механизмы творческого мышления, авторы эвристи- 
ческого подхода провели эксперимент. Была отобрана группа студен- 
тов, не знакомых с математической логикой. Каждый студент должен 
был самостоятельно доказать одну или несколько теорем из учебни- 
ка, не заглядывая в него. При этом он должен был рассуждать вслух, 
делать любые записи, прекращать работу, если становилось ясно, что 
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выбран неверный путь, и начинать все сначала. Обработав магни- 
тофонные записи, выкладки и черновики студентов, программисты 
нашли в них эвристики — некие правила, которыми пользовались 
студенты, доказывая теоремы. Эти правила не имели строгих мате- 
матических обоснований, и их использование не всегда приводило 
к желаемому результату. Однако программа, в которую заложили 
эвристики студентов, смогла доказать все теоремы, какие имелись 
в учебнике, и сформулировать дополнительно еще две теоремы, ко- 
торых не хватало до полной логической завершенности курса! Теперь 
эту программу, известную под названием «Логик-теоретик», принято 
считать родоначальницей эвристического программирования. 

Сегодня инструментами нисходящего подхода к созданию интел- 
лектуальных систем являются законы формальной логики, теории 
множеств, графов, семантических сетей и другие достижения нау- 
ки в области дискретных вычислений. Ясно, что успехи нисходящего 
подхода связаны с развитием возможностей ЭВМ и искусства про- 
граммирования, т.е. с успехами комплекса научных исследований, 
который называют «компьютерными науками». В противоположность 
этому успехи восходящего подхода (от низкого уровня к высокому) 
связаны с успехами наук о человеке. 

Оба подхода к созданию интеллектуальных систем связаны с моде- 
лированием, однако в первом случае мы имеем дело с моделированием 
феноменологическим, имитационным, а во втором случае — с моде- 
лированием структурным. 

Серьезный прорыв в практических приложениях нисходящего под- 
хода к созданию интеллектуальных систем произошел в середине 
1970-х гг., когда, отказавшись от поисков универсального алгоритма 
мышления, программисты начали моделировать конкретные знания 
специалистов-экспертов. Открылось новое направление искусственно- 
го интеллекта — экспертные системы. 

С появлением экспертных систем бизнес в сфере интеллектуаль- 
ных информационных технологий впервые становится рентабельным. 
С середины 1980-х гг. искусственный интеллект превратился в одно 
из наиболее привлекательных в коммерческом отношении направле- 
ний компьютерной индустрии. Растут ежегодные капиталовложения, 
создаются промышленные и военные экспертные системы. 

Однако победа, одержанная приверженцами нисходящего подхо- 
да в 1980-х гг., оказалась неокончательной. Разобравшись в причинах 
своих неудач (подробно об этом см. гл. 4) и выполнив ряд серьезных 
фундаментальных исследований, ученые-нейрокибернетики вышли на 
рынок программной продукции с нейронными сетями. В результате 
1990-е гг. ознаменовались приходом искусственных нейронных сетей 
в бизнес, где они показали свою реальную эффективность при решении 
многих практических задач. В последнее время наряду с указанными 
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выше двумя стратегическими подходами к проблеме моделирования 
мышления и интеллектуальных систем активно развивается третий, на- 
зываемый эволюционным. Смысл этого подхода состоит в том, что про- 
цесс моделирования человеческого мозга заменяется моделированием 
процесса его эволюции. Здесь широко используются господствующие 
в живой природе механизмы естественного отбора и генетического 
наследования. Природные эволюционные процессы, описываемые тео- 
рией Чарльза Дарвина, кладутся в основу поведения простейших сущ- 
ностей — интеллектуальных агентов, не имеющих тел, но способных 
чувствовать, действовать, бороться за существование, размножаться, 
развиваться и жить, как это происходит в физическом мире. 

В заключение отметим, что исследования по искусственному ин- 
теллекту всегда находились на переднем крае информатики. Многие 
воспринимающиеся ныне вполне обычными программные средства, 
усовершенствованные системы программирования, операционные си- 
стемы, текстовые редакторы, системы распознавания образов, ранее 
рассматривались как разработки искусственного интеллекта. Теории, 
идеи и методы искусственного интеллекта всегда привлекали и, ве- 
роятно, еще долго будут привлекать внимание тех, кто стремится 
расширить область применения и возможности компьютеров, сделать 
их более «дружественными», более похожими на разумных существ, 
с которыми приятно общаться и работать. 


1.2. ОСНОВНЫЕ СТРАТЕГИИ 


Искусственный интеллект — это научная отрасль, занимающаяся ис- 
следованием и моделированием естественного интеллекта человека. 
Естественный интеллект человека является очень сложным объектом 
исследований, и его моделирование осуществляется на разных уровнях 
абстрагирования [33]. Можно выделить три таких уровня, которым 
соответствуют три основные стратегии создания интеллектуальных 
систем (рис. 1.3): 

1) технологии экспертных систем (высокоуровневая стратегия); 

2) нейросетевые и нейрокомпьютерные технологии (низкоуровне- 

вая стратегия); 

3) технологии эволюционного моделирования. 

Самому высокому уровню абстрагирования соответствуют техно- 
логии экспертных систем — систем, основанных на явных знаниях 
о предметной области. Согласно этим стратегиям, знания о пред- 
метной области получают от специалистов-экспертов или из других 
информационных источников. Именно человек-эксперт, обладающий 
знаниями о предметной области, способен действовать на самом высо- 
ком уровне. Его знания формализуются и закачиваются в программный 
комплекс — экспертную систему, которая на основе этих знаний дела- 
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Рис. 1.3. Основные стратегии создания интеллектуальных систем 


ет логически обоснованные полезные выводы, тем самым моделируя 
интеллект человека-эксперта. Именно эту стратегию впервые приме- 
нил в ХШ в. испанский ученый Раймунд Луллий. Именно с нее берет 
начало область науки, называемая искусственным интеллектом. 

На самом нижнем уровне абстрагирования находятся нейроком- 
пьютерные и нейросетевые технологии. Согласно этой стратегии, 
строится модель, учитывающая структуру мозга, состоящего из множе- 
ства нейронов, соединенных нервными волокнами. Знания поступают 
в такую модель в ходе ее обучения на специально подобранных при- 
мерах, характеризующих предметную область. Так же как и в мозге, 
знания хранятся в неявной форме — кодируются в виде множества сил 
синаптических связей (об этом пойдет речь в гл. 4), имитирующих 
электропроводность межнейронных соединений. Основоположниками 
этой стратегии, появившейся в середине ХХ в., являются американские 
ученые У. Мак-Каллок, В. Питтс и Ф. Розенблатт. 

Исторически первой была модель интеллекта, основанного на явных 
знаниях (технология экспертных систем), которая безраздельно господ- 
ствовала с ХШ в. и до середины ХХ в. Возникновение в 1940-х гг. аль- 
тернативной стратегии и появление первого нейрокомпьютера, назван- 
ного иерсеитроном, равно как и первые его успехи, были встречены 
с большими надеждами и энтузиазмом, который, впрочем, продержался 
недолго. К середине 1980-х гг. подавляющее большинство интеллекту- 
альных систем представляли собой экспертные системы, ориентирован- 
ные на конкретные предметные области. Однако победа высокоуровне- 
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вой стратегии оказалась временной. Конец ХХ в.—начало ХХІ в. озна- 
меновались широкомасштабным наступлением нейросетевых и нейро- 
компьютерных технологий. Причем имело место как применение этих 
технологий в новых предметных областях, так и вытеснение эксперт- 
ных систем из тех областей, где они традиционно применялись ранее. 

Уже в течение полувека между высоко- и низкоуровневой страте- 
гиями создания интеллектуальных систем идет жесточайшая конку- 
ренция. Вместе с тем многие специалисты отмечают наметившийся 
в последнее время процесс интеграции конкурирующих стратегий. 
Известны, например, успешные попытки создания и применения ги- 
бридных интеллектуальных систем, комбинирующих идеи обеих 
этих альтернативных стратегий. 

Третья стратегия, появившаяся на свет в середине 1970-х гг. благо- 
даря работам профессора Мичиганского университета Дж. Холланда, 
навеяна Дарвиновской теорией возникновения и эволюции жизни на 
Земле. Эволюционные модели начинают свою работу с создания це- 
лой популяции особей — кандидатов на решение проблемы. Отдельные 
особи популяции оцениваются по определенному критерию, позво- 
ляющему отобрать лучшие, которые затем видоизменяются, наследуя 
положительные свойства родителей и образуя новые поколения. Этот 
подход предполагает поиск источника интеллекта в самом процессе 
эволюции и взаимодействия особей. Знания в эволюционных моделях 
приобретаются в ходе конкурентной борьбы между особями. 

Подводя итог краткого обзора существующих стратегий создания 
интеллектуальных систем, отметим, что на сегодняшний день без- 
условным лидером как в области теоретических исследований, так 
и в части практических приложений являются нейросетевые техноло- 
гии. Моделирование мозга на самом низком уровне абстрагирования — 
на уровне нейронной структуры — приводит к наиболее плодотворным 
технологиям создания интеллектуальных информационных систем. 


1.3. ЛИДИРУЮЩАЯ НАУЧНАЯ ОТРАСЛЬ 


В разные периоды существования цивилизации лидирующими направ- 
лениями научных исследований были философия, математика, астро- 
логия, алхимия (средние века), разделы физики: механика (ХІ в.), 
электричество и магнетизм (ХІХ в.), квантовая механика, физика эле- 
ментарных частиц, ядерная физика (конец ХІХ в.— первая половина 
ХХ в). Со второй половины ХХ в. и по настоящее время лидерство, 
как в темпах развития, так и в приложениях, перешло к информати- 
ке (рис. 1.4). В свою очередь, среди множества разделов информатики 
наиболее экспансирующим, как в области теоретических разработок, 
так и приложениях, является искусственный интеллект. 
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Рис. 1.4. Современное распределение приоритетных направлений развития 
научных отраслей 


Искусственный интеллект также имеет несколько разделов, при- 
чем приоритеты между этими разделами постоянно меняются. Более 
того, между учеными, развивающими различные разделы искусствен- 
ного интеллекта, происходит конкуренция, зачастую принимающая 
весьма жесткие формы. И победителями в этой конкуренции попе- 
ременно оказываются то одни, то другие: ажиотаж 1950-х гг. вокруг 
первого нейрокомпьютера сменяется лидерством эксиертных систем, 
которое продолжается до середины 1980-х гг. Однако в течение двух 
последних десятилетий мы наблюдаем, как экспертные системы по- 
степенно уступают лидерство нейронным сетям. 

Искусственный интеллект уже давно стал «горячей точкой» научных 
исследований. Здесь, как в фокусе, сконцентрированы усилия математи- 
ков, физиков, нейробиологов, психологов, программистов, философов, 
инженеров. Здесь решаются глобальные вопросы, связанные с путями 
развития научной мысли, с воздействием компьютерной индустрии 
на жизнь будущих поколений. Здесь рождаются и получают право на 
жизнь пограничные идеи — результат объединения различных дисци- 
плин, научных направлений и областей. Здесь возникает и формируется 
то, что называется философским осмыслением научных результатов. 

Быстрому развитию искусственного интеллекта как научной отрасли 
в значительной мере способствует ставшая повсеместной доступность 
компьютерной техники. По словам известного французского матема- 
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тика Ж. А. Пуанкаре, «наука — это кладбище гипотез». Любая догадка, 
любая новая идея сначала является научной гипотезой и должна 
быть либо подтверждена, либо отвергнута в ходе эксперименталь- 
ной проверки. В иных научных областях на проверку гипотез уходят 
десятилетия. Но это не относится к современному искусственному 
интеллекту. Благодаря доступности компьютеров существует возмож- 
ность быстрого компьютерного воплощения новых идей, возможность 
их немедленной реализации и всесторонней практической проверки. 
Такая возможность является сильнейшим стимулом, способствующим 
лидерству искусственного интеллекта в темпах его развития, как в тео- 
ретическом, так и в практическом аспектах. 


1.4. ОСНОВНЫЕ СФЕРЫ ПРИМЕНЕНИЯ 


Сегодня искусственный интеллект — это обширная область исследо- 
ваний и разработок интеллектуальных систем, предназначенных для 
самых разнообразных сфер человеческой деятельности. Для задач, 
решаемых методами искусственного интеллекта, характерно наличие 
большого числа степеней свободы с числом вариантов поиска решений, 
приближающимся к бесконечности. В отличие от жестко детерминиро- 
ванных компьютерных программ системы искусственного интеллекта 
сами ищут пути решения поставленной задачи. При этом они могут 
менять свои параметры и структуру, чутко реагировать на изменения 
внешней среды, самообучаться, самосовершенствоваться и развивать- 
ся, жить самостоятельной, не зависящей от разработчика жизнью. 

Распознавание образов. К распознаванию образов в искусствен- 
ном интеллекте относят широкий круг проблем: распознавание изобра- 
жений, символов, текстов, запахов, звуков, шумов, ситуаций. На рынке 
программных средств имеются системы, основанные на распознавании 
по признакам, оснащенные базами данных и знаний, имеющие воз- 
можность адаптации и обучения. Однако в последнее время становятся 
популярными гибридные системы, в которых наряду с технологиями 
экспертных систем используются и нейросетевые технологии. 

Игры. Традиционно искусственный интеллект включает интеллек- 
туальные задачи, решаемые при игре в шахматы, шашки, го, каллах. 
Здесь очень широко применяется один из методов — лабиринтная мо- 
дель плюс эвристики. Кроме того, в современных программах-игроках 
наиболее полно удалось реализовать центральную идею искусственного 
интеллекта — обучение, самообучение и самоорганизацию. 

В широком смысле слова под игрой понимается некая конфликтная 
ситуация, участники которой своими действиями не только достига- 
ют своих личных целей, но и влияют на достижимость целей другими 
участниками игры. Ясно, что под такое толкование игры подпадают 
многие экономические, политические и военные конфликты. 
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Компьютерное творчество. Методы искусственного интеллекта 
применяются для создании компьютерных программ, моделирующих 
творческую деятельность человека. Пока только теоретический интерес 
представляют программы, сочиняющие музыкальные и поэтические 
произведения, создающие художественные полотна. Практический ин- 
терес представляет моделирование творческой деятельности ученых, 
например математиков, доказывающих теоремы, применяющих нестан- 
дартные методы решения краевых задач. Так, в работе [12] дано опи- 
сание программы КЕСТОМ$, предназначенной для нахождения анали- 
тических решений краевых задач математической физики. Подобные 
системы обладают базами знаний, содержащими нужные теоремы, 
математические зависимости и эвристические правила, обобщающие 
опыт и интуицию математика, способны к обучению с помощью учи- 
теля и к самообучению. Интерес к «компьютерным математикам» 
обусловлен главным образом тем, что они способны получать точные 
аналитические решения краевых задач [68, 71, 72, 77, 80—81, 85—87]. 
Такие решения не имеют вычислительных погрешностей, что весьма 
актуально для инженерных расчетов экологически опасных объектов 
и процессов ответственного назначения. 
Компьютерная лингвистика. Начиная с 50-х гг. ХХ в. и по насто- 
ящее время одной из популярных тем исследований искусственного 
интеллекта является область машинного перевода текстов с одного 
языка на другой. В 1954г. в США была создана компьютерная про- 
грамма, которая успешно перевела с одного языка на другой 60 фраз. 
В СССР работы в области машинного перевода начались в 1955 г. 
с создания программы-переводчика с английского языка на русский. 
В первых программах-переводчиках применялась идея пословно- 
го перевода, что, естественно, не позволяло получать качественные 
результаты из-за большого количества синонимов и многозначных 
слов естественных языков. Постепенно структуры естественно-языко- 
вых интерфейсов усложнялись, и в настоящее время в программах- 
переводчиках в обязательном порядке применяются: 
® морфологический анализ — анализ слов в тексте; 
® синтаксический анализ — анализ предложений, грамматики 
и связей между словами; 

® семантический анализ — анализ смысла каждого предложения 
на основе базы знаний, на которую ориентирована конкретная 
программа-переводчик; 

® прагматический анализ — анализ смысла предложений в окру- 

жающем контексте с помощью базы знаний. 

Добавление баз знаний и использующих их анализаторов в програм- 
мах-переводчиках позволило существенно улучшить качество перево- 
дов. Особенно ощутимых результатов удалось добиться в переводах 
узкоспециализированных текстов, таких как текст прогноза погоды. 
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Тем не менее компьютерные переводы, как правило, весьма далеки от 
совершенства, но, несмотря на это, они широко применяются для об- 
работки технических, коммерческих, правительственных документов, 
а также документов, опубликованных в Интернете. 

Другой проблемой компьютерной лингвистики является разработка 
естественно-языкового интерфейса между человеком и машиной. Здесь 
немаловажную роль могут сыграть нейросетевые технологии, с помо- 
щью которых удается научить компьютер правильному произношению 
слов. В проектах создания компьютеров У-го и УП-го поколений ре- 
шению этой проблемы уделено первостепенное внимание. 

Интеллектуальные роботы. Роботы — это технические устрой- 
ства, предназначенные для автоматизации человеческого труда. Само 
слово «робот» появилось в 20-х гг. ХХ в. Его автор — чешский писатель 
Карел Чапек. 

В настоящее время в промышленности применяется огромное коли- 
чество роботов-манипуляторов, работающих по жесткой схеме управле- 
ния. В отличие от них интеллектуальные роботы обладают способностью 
самообучаться и самоорганизовываться, адаптироваться к изменяю- 
щейся окружающей обстановке, принимать самостоятельные решения. 

При создании первых интеллектуальных роботов в них закла- 
дывались базы правил, предписывающих их поведение. Например, 
закладывалась инструкция: «Поднять правую ногу на 15 см, вытянуть 
ее вперед на 20 см и поставить на ступеньку, опустив вниз на 30 см», 
и, если этой ступеньки не оказывалось, робот падал. Затем для управ- 
ления поведением роботов стали применяться нейрокомпьютерные 
технологии. Благодаря этому роботы приобрели способность адапти- 
роваться к окружающей среде, гибко реагировать на ее изменения, 
самонастраиваться и самообучаться. 

Интересные эксперименты проводятся по применению эволюци- 
онных моделей управления роботами. Снабжение их природными 
механизмами самосовершенствования живых организмов, таких как 
селекция, скрещивание, мутация, естественный отбор, представляется 
весьма перспективным. 

Интерес, а иногда и недоумение вызывают проекты, связанные с созда- 
нием антропоморфных роботов — максимально имитирующих человека. 
В начале ХХІ в. лидером капиталовложений в проекты создания антро- 
поморфных роботов стала Япония. Достижениями японского проекта 
стал робот, играющий на флейте, как человек, передвигающийся на двух 
ногах, как человек, улыбающийся и кланяющийся, как человек и т. д. 

Россия в настоящее время имеет приоритет в области разработки 
математической теории эмоциональных роботов благодаря пионерским 
монографиям профессора О. Г. Пенского с соавторами [42, 43]. 

Искусственная жизнь, генетические алгоритмы, мультиагент- 
ные системы. Эти три направления берут свое начало с опытов 
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профессора Мичиганского университета Дж. Холланда, который, пы- 
таясь подтвердить Дарвиновскую теорию эволюции жизни на Земле, 
населил компьютер виртуальными особями-программами, заставив 
их, подобно реальным земным существам, бороться за выживание, 
добывать себе пищу, размножаться и умирать. Научными работами по- 
добного рода под общим названием «Искусственная жизнь» и сейчас 
занимаются многие биологи, экологи, ученые, работающие в области 
наук о Земле и человеке. Однако широкое практическое приложение 
идей Дж. Холланда началось, когда было обнаружено, что дарвинов- 
ский алгоритм самосовершенствования всего живого может с успехом 
применяться для решения оптимизационных задач. Выяснилось, что 
природные оптимизационные алгоритм, названные генетическими, 
легко справляются с поисками глобальных экстремумов многоэкс- 
тремальных функций, с чем традиционные градиентные методы, как 
правило, справиться не могут. В настоящее время генетические алго- 
ритмы активно применяются при решении многих оптимизационных 
задачах, встречающихся преимущественно в экономико-математиче- 
ском моделировании, а также при обучении нейронных сетей. 

Другое практическое применение алгоритмов искусственной жиз- 
ни связано с использованием агентных (мультиагентных) систем. 
Программами-особями, называемыми агентами, населяется сеть Ин- 
тернет. Действуя самостоятельно, агенты выполняют полезную работу 
в интересах своего резидента — пользователя. Они следят за события- 
ми в мире, добывая полезную информацию, играют на бирже ценных 
бумаг, добиваясь максимальных дивидендов для хозяина, сообщают 
ему об угрозах и предотвращают их, иногда вступая в борьбу с чужими 
агентами. 

Компьютерные вирусы. Сегодня трудно назвать компьютерно- 
го пользователя, избежавшего знакомства с этим видом программной 
продукции. 

Следует признать, что последние поколения вирусов обладают всеми 
свойствами систем искусственного интеллекта. Они свободно переме- 
щаются по компьютерам, мутируют и размножаются, самообучаются, 
самостоятельно изменяют свои параметры и структуру. Вирусы живут 
самостоятельной, независимой от их создателей жизнью. 

Вредоносное воздействие компьютерных вирусов значительно воз- 
росло с появлением сети Интернет. Однако, по прогнозам специ- 
алистов, неприятности, с которыми мы встречаемся сегодня, пред- 
ставляются ничтожными по сравнению с теми, которые ожидают 
нас с проникновением компьютерных вирусов в сферу деятельности 
интеллектуальных роботов. 

Интеллектуальный анализ данных (Раеа тіпіпв) — извлечение 
знаний из данных. Эта задача стала особенно актуальной в связи 
с обилием статистической информации, которой буквально «забита» 


Контрольные вопросы и задания 25 


сеть Интернет и компьютеры, обслуживающие деятельность различ- 
ного рода фирм и организаций. Однако за множеством безликих 
цифр скрываются закономерности. Эти закономерности представляют 
собой знания, которые необходимы менеджерам для выработки вер- 
ных решений. Но увидеть такие закономерности человеческий глаз 
не в состоянии. Незаменимым инструментом создания систем из- 
влечения знаний из данных и поддержки принятия решений на их 
основе являются методы искусственного интеллекта, в частности — 
нейросетевые технологии. 


КОНТРОЛЬНЫЕ ВОПРОСЫ И ЗАДАНИЯ 
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Попытайтесь самостоятельно сформулировать определения интел- 
лекта и искусственного интеллекта. 

Когда и кем была произведена первая попытка моделирования 
интеллекта человека? 

Опишите назначение и принцип действия машины Р. Луллия. 

В чем суть модели лабиринтного поиска и эвристического метода? 
В чем состоит принципиальное различие между кибернетикой «чер- 
ного ящика» и нейрокибернетикой? В чем смысл терминов «вос- 
ходящее» и «нисходящее» направления искусственного интеллекта? 
Что такое эволюционное моделирование? 

Перечислите и охарактеризуйте основные стратегии создания ин- 
теллектуальных систем. Назовите основателя и примерную дату 
появления каждого стратегического направления. 

Как приобретаются и в каком виде хранятся знания в интеллекту- 
альных системах, созданных согласно трем основным стратегиям? 
Какая научная область, по вашему мнению, является лидирующей 
в настоящее время? 

Зайдите в сеть Интернет и с помощью поисковика попробуйте 
ввести ключевые слова: «искусственный интеллект», «экспертные 
системы», «нейронные сети», «нейроинформатика», «нейрокомпью- 
тер», «агентные системы», «интеллектуальные роботы», «интеллек- 
туальный анализ данных». Выберите заинтересовавшую вас инфор- 
мацию и напишите на ее основе реферат или подготовьте доклад 
на какую-либо из следующих тем, например: 

® успехи искусственного интеллекта; 

история искусственного интеллекта; 

современные проблемы искусственного интеллекта; 
современные технологии создания интеллектуальных систем; 


ө 
© 
ө 
е будущее искусственного интеллекта. 


Глава 2 


МОДЕЛИ ПРЕДСТАВЛЕНИЯ ЗНАНИЙ 


2.1. ДАННЫЕ И ЗНАНИЯ 


Как правило, любая, даже самая простая, компьютерная программа 
оперирует не только с данными, но и со знаниями. Например, фрагмент 
программы, предназначенной для вычисления площади круга радиусом 
20 см, на языке Раѕса! выглядит следующим образом: 


^ 


В := 20; 
Рі := 3.14; 
5 := Рі ж Ё ж В; 


МАІТЕІМ (‘Площадь круга $5=?, 5, ‘кв. см’); 


Первые два оператора представляют собой данные, а третий 
оператор — знание. Это всем известная формула для вычисления пло- 
щади круга. Она является результатом интеллектуальной деятельности 
великих геометров древности. 

Прежде чем сформулировать определение знаний, вспомним [5, 23], 
что собой представляют данные. 

Данные —это отдельные факты, характеризующие объекты, 
процессы и явления предметной области, а также их свойства. 


При обработке данные последовательно трансформируются: 

® данные, существующие как результат измерений и наблюдений; 

® данные на материальных носителях информации — в таблицах, 

протоколах, справочниках; 

® данные, представленные в виде диаграмм, графиков, функций; 

® данные в компьютере на языке описания данных; 

® базы данных. 

Знания основываются на данных, но представляют собой 
результат мыслительной деятельности человека, обобщают его 
опыт, полученный в ходе практической деятельности или научных 
исследований. Они могут выражать законы природы и общества, 
закономерности конкретных предметных областей. 

При обработке на ЭВМ знания трансформируются аналогично 
данным: 

® знания, существующие в памяти человека как результат обучения, 

воспитания, мышления; 
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® знания, помещенные на материальных носителях: в учебниках, 
инструкциях, методических пособиях, книгах; 

® знания, описанные на языках представления знаний и поме- 
щенные в компьютер; 

® базы знаний. 

Для хранения данных в компьютере используются базы данных. Для 
них характерны большой объем и относительно небольшая стоимость 
информации. Для хранения знаний используются базы знаний. 
Они, наоборот, отличаются сравнительно небольшими объемами, но 
исключительно дорогими информационными массивами. 

В приведенном выше фрагменте программы вычисления площади 
круга знания растворены в самом тексте программы. Такой вид 
представления знаний называют ироцедурным. Корректировка таких 
знаний требует изменения самого текста программы. Поэтому с раз- 
витием искусственного интеллекта все большая часть знаний стала 
сосредоточиваться в отдельных структурах. Такие знания называются 
декларативными. 

Существуют десятки способов представления знаний [23, 25, 40]. 
Мы кратко рассмотрим только пять наиболее известных способов: 
продукционная модель; 
фреймовая модель; 
сетевая модель; 
логическая модель; 
синаптическая модель. 


2.2. ПРОДУКЦИОННАЯ МОДЕЛЬ 


Продукционная система состоит из трех основных компонентов, 
схематично изображенных на рис. 2.1. Первый из них — это база 
правил, состоящих из правил типа: ЕСЛИ (условие), ТО (действие): 
ЕСЛИ холодно, ТО надеть шубу; ЕСЛИ идет дождь, ТО взять зонтик 
и т. п. 


Механизм вывода 


Сопоставление 


Модификация Поиск 


Рабочая База 
память правил 


Рис. 2.1. Блок-схема продукционной системы 
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Вторым компонентом является рабочая память, в которой хранятся 
исходные данные к задаче и выводы, полученные в ходе работы системы. 

Третий компонент — механизм логического вывода, использующий 
правила в соответствии с содержимым рабочей памяти. 

Рассмотрим конкретный пример [45, 46]. В базе правил экспертной 
системы имеются два правила. 

Правило 1: ЕСЛИ «намерение — отдых» и «дорога ухабистая», ТО 
«использовать джип». 

Правило 2: ЕСЛИ «место отдыха — горы», ТО «дорога ухабистая». 

Допустим, что в рабочую память поступили исходные данные: 

«намерения — отдых»; «место отдыха — горы». 

Механизм вывода начинает сопоставлять образцы из условных ча- 
стей правил с образцами, хранимыми в рабочей памяти. Если образцы 
из условной части имеются в рабочей памяти, то условная часть счи- 
тается истинной. В противном случае — ложной. 

В данном примере при рассмотрении правила 1 оказывается, что 
образец «намерение — отдых» имеется в рабочей памяти, а образец «до- 
рога ухабистая» отсутствует, поэтому условная часть правила 1 считается 
ложной. При рассмотрении правила 2 выясняется, что его условная 
часть истинна. Механизм вывода выполняет заключительную часть это- 
го правила, и образец «дорога ухабистая» заносится в рабочую память. 
Правило 2 при этом выбывает из числа кандидатов на рассмотрение. 

Снова рассматривается правило 1, условная часть которого теперь 
становится истинной, и содержимое рабочей памяти пополняется об- 
разцом «использовать джип». В итоге получается, что правил, которые 
можно было бы применять, не остается и система останавливается. 

В рассмотренном примере приведен прямой вывод — от данных 
к поиску цели. Однако применяют и обратный вывод — от цели для 
ее подтверждения к данным. Продемонстрируем этот способ на нашем 
примере. Допустим, что наряду с исходными данными «намерения — 
отдых»; «место отдыха — горы» имеется цель «использовать джип». 

Согласно правилу 1, для достижения этой цели требуется выпол- 
нение условия «дорога ухабистая», поэтому условие становится новой 
целью. При рассмотрении правила 2 оказывается, что условная часть 
этого правила в данный момент истинна, поэтому рабочая память по- 
полняется образцом «дорога ухабистая». При повторном рассмотрении 
правила 1 подтверждается цель: «использовать джип». 

При обратном выводе система останавливается в двух случаях: ли- 
бо достигается первоначальная цель, либо кончаются правила. При 
прямом выводе система останавливается только тогда, когда конча- 
ются правила, либо при появлении в рабочей памяти специально 
предусмотренного образца, например «использовать джип». 

В приведенном примере на каждом этапе прямого вывода можно 
было использовать только одно правило. В общем же случае на каж- 
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дом этапе вывода таких правил несколько, и тут возникает проблема 
выбора. Например, введем в рассмотрение еще одно правило. 

Правило 3: ЕСЛИ «намерение — отдых», ТО «нужна скорость». 

Кроме того, введем условие останова системы — появление в ра- 
бочей памяти образца «использовать джип». 

Теперь на первом этапе прямого вывода появляется возможность 
применять либо правило 2, либо правило 3. Если сначала применить 
правило 2, то на следующем этапе можно будет применять правило 1 
и правило 3. Если на этом этапе применить правило 1, то выполнит- 
ся условие останова системы, но если прежде применить правило 3, 
то потребуется еще один этап вывода. 

Этот пример показывает, что выбор применяемого правила оказывает 
прямое влияние на эффективность вывода. В реальной системе, где име- 
ется множество правил, появляется проблема их оптимального выбора. 

Если на каждом этапе логического вывода существует множество 
применимых правил, то это множество носит название конфликтного 
набора, а выбор одного из них называется разрешением конфликта. 

Аналогичная ситуация возникает и при обратном выводе. Напри- 
мер, дополним предыдущий пример еще одним правилом. 

Правило 4: ЕСЛИ «место отдыха — пляж», ТО «дорога ухабистая». 

Если на основании этого условия подтверждается цель «исполь- 
зовать джип», то для достижения первоначальной цели достаточно 
применить только одно правило 1; однако, чтобы подтвердить новую 
цель «дорога ухабистая», открывается возможность применения пра- 
вила |, нужно использовать либо правило 2, либо правило 4. Если 
сначала применить правило 2, то это будет самый удачный выбор, по- 
скольку сразу же можно применить и правило 1. В то же время, если 
попытаться применить правило 2, то, поскольку образца «место отды- 
ха — пляж», который является условием правила 4, в рабочей памяти 
не существует и, кроме того, не существует правила, подтверждающе- 
го его, данный выбор является неудачным. И лишь со второго захода, 
применяя правило 2, можно подтвердить цель «дорога ухабистая». 

Следует обратить внимание на то, что при обратном выводе пра- 
вило 3, которое не оказывает прямого влияния на достижение цели, 
не принималось в расчет с самого начала. Таким образом, для об- 
ратных выводов характерна тенденция исключения из рассмотрения 
правил, не имеющих прямого отношения к заданной цели, что поз- 
воляет повысить эффективность вывода. Обратный вывод применяют 
в тех случаях, когда цели известны и их сравнительно немного. 

Продукционная модель — это наиболее часто используемый способ 
представления знаний в современных экспертных системах. Основ- 
ными преимуществами продукционной модели являются наглядность, 
высокая модульность, легкость внесения изменений и дополнений, 
простота механизма логического вывода. 
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2.3. ФРЕЙМОВАЯ МОДЕЛЬ 


В психологии и философии используется понятие абстрактного образа. 
Например, слово «автомобиль» вызывает у слушающих образ устрой- 
ства, способного перемещаться, имеющего четыре колеса, салон для 
шофера и пассажиров, двигатель, руль. Считается, что современный 
человек использует абстрактные образы для хранения в своей памяти 
информации об окружающем мире. 

Фрейм — это модель абстрактного образа, которую программисты 
используют для хранения знаний о рассматриваемой предметной об- 
ласти. Фрейм состоит из имени и отдельных единиц, называемых 
слотами. Он имеет однородную структуру: 


Имя фрейма 
Имя 1-го слота: значение 1-го слота. 
Имя 2-го слота: значение 2-го слота. 


Имя М№-го слота: значение М№-го слота. 


В качестве значения слота может выступать имя другого фрей- 
ма. Таким образом фреймы объединяются в сеть. Свойства фреймов 
наследуются сверху вниз, т.е. от вышестоящих к нижестоящим че- 
рез АКО-связи (начальные буквы английских слов «А Кша ОБ, что 
можно перевести как «это»). Слот с именем АКО указывает на имя 
фрейма более высокого уровня иерархии. 

Например, на рис. 2.2 фрейм «Студент» имеет ссылки на выше- 
стоящие фреймы: «Человек» и «Млекопитающее». Поэтому на вопрос 
«Может ли студент мыслить?» ответ будет положительным, так как 
этим свойством обладает вышестоящий фрейм «Человек». 

Если одно и то же свойство указывается в нескольких связанных 
между собой фреймах, то приоритет отдается нижестоящему фрей- 


Млекопитающее 


ако сте 
остип о ростаи васа]| | лко Стул 
Возраст  |0—300 лет Возраст |0—100 лет АКО 


Рост 50—180 см Учится 
Умеет Возраст [17—23 года 
сласт 


Имя слота Значение слота 


Рис. 2.2. Структура фреймов 
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Стипендия 
получает 


это 


учится в работает в 


Университет 


Человек 


сдает экзамены 


Профессор 


Рис. 2.3. Семантическая сеть 


му. Так, возраст фрейма «Студент» не наследуется из вышестоящих 
фреймов. 

Основным преимуществом фреймов как способа представления 
знаний является наглядность и гибкость в употреблении. Кроме того, 
фреймовая структура согласуется с современными представлениями 
о хранении информации в памяти человека. 


2.4. СЕТЕВАЯ МОДЕЛЬ 


В основе этого способа представления знаний лежит идея о том, 
что любые знания можно представить в виде совокупности ионя- 
тий (объектов) и отношений (связей). На рисунке 2.3. приведен 
пример графического изображения сети, вершины которой представ- 
ляют собой понятия предметной области, а связывающие их линии — 
отношения между этими понятиями. Сам термин «семантическая» 
означает «смысловая». 

Основным преимуществом этой модели является наглядность, а так- 
же соответствие современным представлениям об организации долго- 
временной памяти человека. Недостаток — сложность поиска вывода, 
а также сложность корректировки, т. е. удаления и дополнения сети 
новыми знаниями. 


2.5. ЛОГИЧЕСКАЯ МОДЕЛЬ 


Логическая модель знаний представляет собой совокупность утвер- 
ждений. О каждом утверждении можно сказать, истинно оно или 
ложно. Утверждения делятся на факты и правила. Совокупность фак- 
тов представляет собой базу данных, лежащую в основе базы знаний. 
Правила имеют форму «ЕСЛИ А, ТО Б». Механизм вывода основан 
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на аппарате математической логики, называемом исчислением пре- 
дикатов первого порядка. Логическая модель знаний лежит в основе 
языка ПРОЛОГ. 

Прикладные возможности этой модели весьма ограничены. 


2.6. СИНАПТИЧЕСКАЯ МОДЕЛЬ 


Идея этой модели заимствована у биологов, представляющих мозг 
в виде нервных клеток — нейронов, соединенных нервными волок- 
нами, и обменивающихся между собой электрическими сигналами, 
которые передаются по нервным волокнам. Согласно этим представ- 
лениям, вся информация и все знания, которыми располагает мозг, 
закодированы в виде матрицы сил синаптических связей, под ко- 
торыми понимаются электропроводности синапсов — точек контактов 
нервных волокон с дендритами — отростками нейронов, принимаю- 
щих электрические сигналы. 

Попытки компьютерного моделирования электроинформационных 
процессов, происходящих в мозге, оказались чрезвычайно плодо- 
творными и привели к появлению нового раздела искусственного 
интеллекта — нейросетевым и нейрокомпьютерным технологиям, по- 
дробному изучению которых посвящена гл. 4. 


КОНТРОЛЬНЫЕ ВОПРОСЫ 


1. Назовите общие и отличительные признаки данных и знаний. 
Назовите и охарактеризуйте известные вам методы представления 
знаний. 

3. Какой, по вашему мнению, метод представления знаний исполь- 
зуется в человеческом мозге? 


Глава 3 


ЭКСПЕРТНЫЕ СИСТЕМЫ 


3.1. ПРЕДМЕТНЫЕ ОБЛАСТИ 


Знания, которыми обладает специалист в какой-либо области, можно 
разделить на формализуемые, плохо формализуемые и не формали- 
зуемые. Формализуемые знания излагаются в книгах и руководствах 
в виде законов, формул, моделей, алгоритмов. Формализуемые знания 
характерны для точных наук, таких как математика, физика, химия, 
астрономия. Науки, которые принято называть описательными, обычно 
оперируют с плохо формализуемыми знаниями. К таким наукам 
можно отнести, например, зоологию, ботанику, экологию, педагогику, 
медицину и др. 

Существуют знания, которые не попадают в книги в связи с их 
неконкретностью, субъективностью, приблизительностью. Знания это- 
го рода являются результатом многолетних наблюдений, опыта работы, 
интуиции. Они обычно представляют собой некие эмпирические 
и эвристические приемы и правила. Обычно они передаются из 
поколения в поколение в виде определенных навыков, ноу-хау, 
секретов ремесла. 

Есть также знания, которые не могут быть выражены ни в математиче- 
ском виде, ни в терминах обычного человеческого языка. Такими знани- 
ями обладают религиозные деятели, экстрасенсы, контактеры, шаманы. 

Класс задач, относящихся к плохо формализуемым знаниям и не 
формализуемым, значительно шире класса задач, для которых знания 
могут быть легко формализованы. Этим объясняется особая популяр- 
ность и широкое практическое применение экспертных систем, которые 
сделали возможным применение компьютерных технологий в пред- 
метных областях, в которых знания плохо поддаются формализации. 


3.2. СТРУКТУРА И РЕЖИМЫ РАБОТЫ 


Экспертные системы — это сложные программные комплексы, акку- 
мулирующие знания специалистов в конкретных предметных областях 
и использующие эти знания с целью выработки логически обосно- 
ванных рекомендаций и решений проблем, а также для консультаций 
менее квалифицированных пользователей [23]. Типичная структура 
экспертной системы изображена на рис. 3.1. 
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Механизм вывода 


Интерфейс База Интерфейс 
пользователя знаний разработчика 


Подсистема 
объяснений 


Пользователь Программист 


Инженер- 
когнитолог 


Рис. 3.1. Типичная структура экспертной системы 


Обычно в состав экспертной системы входят следующие взаимо- 
связанные между собой модули. 

База знаний — ядро экспертной системы, содержит знания, представ- 
ленные одним из способов представления знаний, рассмотренных выше. 

Интерфейс разработчика — программа, с помощью которой ин- 
женер-когнитолог и программист могут создавать базу знаний в диало- 
говом режиме. Включает в себя системы вложенных меню, шаблонов 
языка представления знаний, подсказок (пер-режим) и других сер- 
висных средств, облегчающих работу с базой знаний. 

Интерфейс пользователя — комплекс программ, реализующих диа- 
лог пользователя с экспертной системой на стадии как ввода инфор- 
мации, так и получения результатов. 

Механизм вывода (синонимы: дедуктивная машина, блок логи- 
ческого вывода, решатель) — программа, моделирующая ход рассуж- 
дений эксперта на основании знаний, имеющихся в базе знаний. 
Механизм вывода определяет, какие правила (знания) нужно вызвать, 
выполняет правила, определяет, когда найдено приемлемое решение, 
передает результат программе «Интерфейс пользователя». 

Подсистема объяснений — программа, позволяющая пользователю 
получать ответы на вопросы: «Как была получена та или иная реко- 
мендация?» и «Почему система приняла такое решение?». Ответ на 
вопрос «Как?» — это трассировка (последовательный вывод на мони- 
тор или в печать) всего процесса получения решения с указанием 
исполняющих фрагментов базы знаний, т. е. всех шагов цепи умоза- 
ключений. Ответ на вопрос «Почему?» — ссылка на умозаключение, 
непосредственно предшествовавшее полученному решению, т.е. отход 
на один шаг назад. 
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В коллектив разработчиков экспертной системы входят как мини- 
мум четыре специалиста (или четыре группы специалистов): эксперт, 
инженер-когнитолог, программист, пользователь. Возглавляет коллек- 
тив инженер-когнитолог — ключевая фигура при разработке систем, 
основанных на знаниях. Обычно это руководитель проекта, в зада- 
чу которого входит организация всего процесса создания экспертной 
системы. С одной стороны, он должен быть специалистом в области 
искусственного интеллекта, а с другой — должен разбираться в пред- 
метной области, общаться с экспертом, извлекая и формализуя его 
знания, передавать их программисту, который кодирует и помещает 
знания в базу знаний экспертной системы. 

Экспертная система работает в двух режимах: приобретения знаний 
и решения задач или консультаций. 

В режиме приобретения знаний происходит формирование базы 
знаний. В режиме решения задач общение с экспертной системой 
осуществляет конечный пользователь. 

Обычно знания, которыми располагает эксперт, различаются степе- 
нью надежности, важности, четкости. В этом случае они снабжаются 
некоторыми весовыми коэффициентами, которые называют коэф- 
фициентами доверия (уверенности). Такие знания обрабатываются 
с помощью алгоритмов нечеткой логики. 

В процессе опытной эксплуатации коэффициенты доверия могут 
подвергаться корректировке. В этом случае говорят, что происходит 
обучение экспертной системы. Процесс обучения экспертной системы 
может производиться автоматически с помощью обучающего алгорит- 
ма либо путем вмешательства инженера-когнитолога, выполняющего 
роль учителя. 

Если в процессе работы экспертной системы механизм вывода об- 
наруживает, что можно вызвать более одного правила, то делается 
выбор, причем приоритет отдается либо правилам, имеющим более 
высокий коэффициент доверия, либо правилам, которые учитыва- 
ют большее количество текущих данных. Этот процесс называется 
разрешением конфликта. 


3.3. ЭТАПЫ И ТЕХНОЛОГИЯ РАЗРАБОТКИ 


Технология разработки экспертных систем несколько отличается от 
технологии разработки обычных компьютерных программ. Это разли- 
чие обусловлено разницей их характеристик (табл. 3.1). 

При разработке экспертных систем широко используются ирото- 
типы — компьютерные модели будущего программного продукта. Идея 
прототипизации состоит в том, чтобы на ранней стадии работы над 
проектом создать упрощенную версию конечной программы, которая 
могла бы послужить доказательством продуктивности основных идей, 
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Таблица 3.1 


Традиционные 
Экспертные ралиц 
Характеристика компьютерные 
системы 
программы 


Тип обработки Символьная Числовая 
Метод Эвристический поиск | Алгоритм 


положенных в основание проекта. Прототип должен быть способен 
решать какую-либо из нетривиальных задач, характерных для заданной 
области применения. На основе анализа опыта работы с прототипом 
разработчики могут уточнить требования к системе в целом и ее основ- 
ным функциональным характеристикам. Заказчики экспертной системы 
получают возможность оценить целесообразность выполнения проекта 
еще до того, как на него будут потрачены значительные средства. 

Принято различать следующие прототипы экспертных систем [23]. 

Демонстрационный прототип — экспертная система, которая ре- 
шает часть требуемых задач, демонстрируя жизнеспособность метода 
инженерии знаний. База знаний составляет всего 50...100 правил. 
Время разработки такой экспертной системы — 6...12 мес. 

Исследовательский прототип — экспертная система, которая ре- 
шает все требуемые задачи, но неустойчива в работе и не полностью 
проверена. База знаний содержит 200...500 правил. Разработка зани- 
мает 3...6 мес. 

Действующий прототип — надежно решает все задачи, но для 
решения сложных задач может потребоваться много времени и па- 
мяти. База знаний содержит 500...1000 правил. Время разработки — 
6...12 мес. 

Промышленная экспертная система — обеспечивает высокое ка- 
чество решения всех задач при минимуме времени и памяти, что 
достигается переписыванием программ с использованием более со- 
вершенных инструментальных средств и языков низкого уровня. База 
знаний содержит 1000...1500 правил. Время разработки — 1...1,5 года. 

Коммерческая экспертная система — отличается от промышлен- 
ной тем, что, помимо собственного использования, она может прода- 
ваться различным потребителям. База знаний содержит 1500...3000 пра- 
вил. Время разработки — 1,5...3 года. Стоимость — 0,3...5,0 млн долл. 


3.3. Этапы и технология разработки 37 


Начало Выход 


Опытная 
эксплуатация 


Идентификация Тестирование 


Модификация 


Требования Переформу- Правила 


лирование 
Ц Усовершен- 
Копцептуализация 2 р Выполнение 

Б ствование 
а 
5 

Понятия о 
а 
о 
Е 


Формализация 1 
Структура знаний 


Рис. 3.2. Технология разработки экспертной системы 


В ходе работ по созданию экспертных систем сложилась опреде- 
ленная технология, включающая основные этапы (схематически они 
изображены на рис. 3.2). 

1. Идентификация (постановка задачи). На этом этапе устанав- 
ливаются задачи, которые подлежат решению, выявляются цели раз- 
работки, требования к экспертной системе, ресурсы, используемые 
понятия и их взаимосвязи, определяются методы решения задач. Цель 
этапа — сформулировать задачу, охарактеризовать поддерживающую ее 
базу знаний и таким образом обеспечить начальный импульс для 
развития базы знаний. 

2. Концептуализация. Проводится содержательный анализ про- 
блемной области, выявляются используемые понятия и их взаимосвя- 
зи, определяются методы решения задач. 

3. Формализация. Определяются способы представления всех видов 
знаний, формализуются основные понятия, определяются способы ин- 
терпретации знаний, оценивается, насколько адекватны целям системы 
зафиксированные понятия, методы решения, средства представления 
и манипулирования знаниями. 

4. Выполнение. На этом этапе эксперт наполняет базу знаний. Про- 
цесс приобретения знаний разделяют на получение знаний от эксперта, 
организацию знаний, обеспечивающую эффективную работу системы, 
и представление знаний в виде, понятном экспертной системе. Из- 
за эвристического характера знаний их приобретение является весьма 
трудоемким. 

5. Тестирование. Эксперт и инженер по знаниям в интерактивном 
режиме, используя диалоговые и объяснительные средства, проверяют 


38 Глава 3. Экспертные системы 


компетентность экспертной системы. Процесс тестирования продол- 
жается до тех пор, пока эксперт не решит, что система достигла 
требуемого уровня компетентности. 

6. Опытная эксплуатация. Проверяется пригодность экспертной 
системы для конечных пользователей. По результатам этого этапа 
может потребоваться модификация экспертной системы. 

7. Модификация. В ходе создания экспертной системы почти по- 
стоянно производится ее модификация: переформулирование понятий 
и требований, переконструирование представления знаний и усовер- 
шенствование прототипа. 

Усовершенствование прототипа осуществляется в процессе цикли- 
ческого прохождения через этапы выполнения и тестирования для 
отладки правил и процедур вывода. 

Переконструирование выбранного ранее способа представления зна- 
ний предполагает возврат от этапа тестирования на этап формализации. 

Если возникшие проблемы еще более серьезны, то после неудачи 
на этапе тестирования может потребоваться возврат на этап концепту- 
ализации и идентификации. В этом случае речь идет о переформули- 
ровании понятий, используемых в системе, т. е. перепроектировании 
системы заново. 

Приведенная последовательность разработки экспертных систем 
предложена Э. А. Поповым в книге [44]. Данная технология отража- 
ет опыт разработки и внедрения многочисленных экспертных систем 
широкого назначения. В этой же книге указываются трудности, харак- 
терные для каждой стадии, и даются рекомендации по их преодолению. 


3.4. ПРОГРАММНЫЙ ИНСТРУМЕНТАРИЙ 


Инструментальные программы, применяемые при разработке эксперт- 
ных систем, можно разделить на четыре достаточно большие категории. 

1. Оболочки экспертных систем. Системы этого типа создаются, 
как правило, на основе какой-нибудь экспертной системы, достаточно 
хорошо зарекомендовавшей себя на практике. При создании оболочки 
из экспертной системы-прототипа удаляются компоненты, слишком 
специфичные для области ее непосредственного применения, и остав- 
ляются те, которые не имеют узкой специализации. Примером может 
служить система ЕМҮСІМ, созданная на основе широко известной 
экспертной системы медицинской диагностики МҮСІМ. 

Достоинством программ-оболочек является то, что они позволяют 
непрограммистам воспользоваться результатами работы программи- 
стов, решавших аналогичные проблемы. Недостатком оболочек явля- 
ется их ориентированность на достаточно узкий класс задач, хотя он 
более широкий, чем программа, на основе которой была создана та 
или иная оболочка. 
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2. Традиционные языки программирования. Экспертные систе- 
мы могут создаваться с помощью традиционных языков программи- 
рования, таких как С, С*", Јауа, Ваѕіс, Еойгап, Разса| и др. Эти языки 
дают проектировщику экспертных систем значительно большую свобо- 
ду действий, чем оболочки. Гибкость, предоставляемая традиционны- 
ми языками программирования, особенно важна в тех случаях, когда 
невозможно заранее определить оптимальные способы представления 
знаний и управления логическим выводом. Преимуществом использо- 
вания традиционных языков программирования является возможность 
достижения высокой эффективности программного продукта, связан- 
ная с их близостью к машинной архитектуре. Еще одно достоинство — 
возможность включения разрабатываемых интеллектуальных подсистем 
в крупные программные комплексы общего назначения. 

Недостатком использования традиционных языков программиро- 
вания являются значительные трудозатраты программистов, обуслов- 
ленные слабой приспособленностью этих языков для работы с сим- 
вольными и логическими данными. 

3. Языки искусственного интеллекта. К языкам искусственного 
интеллекта в первую очередь принято относить ІЅР и РКОГОС. Они 
отличаются богатыми возможностями обработки символьных и логи- 
ческих данных. Язык 5Р скрыл от программистов устройство памяти 
ЭВМ, а РКОГОС позволил им не заботиться о потоке управления 
в программе. Естественно, что такое повышение языкового уров- 
ня привело к снижению гибкости и универсальности по сравнению 
с традиционными языками программирования. 

Язык ЦЅР был разработан в Стэнфордском университете в на- 
чале 1960-х гг., а РКОГОС — в Марсельском университете в 1971 г. 
Наибольшую популярность язык РКОГОС приобрел в 1980-х гг., ко- 
гда благодаря усилиям математиков был обоснован логический базис 
этого языка, а также в силу того, что в японском проекте вычисли- 
тельных систем У поколения язык РКОГОС был принят в качестве 
базового для машины вывода. 

Следует, однако, отметить, что в последнее время применение язы- 
ков ЦЅР и РКОГОС несколько сократилось. Объясняется это, по- 
видимому, тем, что системы искусственного интеллекта часто служат 
модулями других больших приложений, поэтому стандарты разработки 
приводят к необходимости использования единого языка программи- 
рования всего приложения. 

4. Интегрированные среды поддержки разработки интеллекту- 
альных систем. Это своего рода надстройки над языками искусствен- 
ного интеллекта, такие как АКТ, КЕЕ, С2. Фактически они являются 
большим набором хорошо интегрированных парадигм искусственно- 
го интеллекта, что позволяет пользователю комбинировать в процессе 
разработки экспертной системы разные стили программирования. 
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3.5. ИНЖЕНЕРИЯ ЗНАНИЙ 


При разработке экспертных систем одним из важнейших этапов явля- 
ется проектирование баз знаний, т.е. получение знаний специалистов 
предметных областей. Этот раздел искусственного интеллекта получил 
название инженерии знаний. 

В настоящее время сложилось несколько стратегий получения зна- 
НИЙ. 

Наиболее ранним является способ получения знаний в результа- 
те живого контакта инженера по знаниям с экспертом либо другим 
источником знаний, например со специальной литературой. Многие 
авторы называют эту стратегию извлечением знаний. 

Желание автоматизировать трудоемкий процесс получения знаний 
привело к появлению двух стратегий, основанных на применении 
ЭВМ: приобретение знаний и формирование знаний. 

Приобретение знаний — это способ построения базы знаний по- 
средством диалога эксперта с компьютерной программой. Обычно 
такие программы ориентированы на конкретные предметные области, 
разработаны с учетом их структуры и конкретных особенностей, т. е. 
они не являются универсальными. Например, одна из первых систем 
подобного рода — ТЕІКЕЅІЅА — предназначена для пополнения базы 
знаний системы медицинской диагностики МҮСІМ. 

Стратегия, называемая формированием знаний, включает приме- 
нение алгоритмов автоматического порождения гипотез методом обу- 
чения на примерах принятия решений в предметной области. 

Стратегии автоматизированного получения знаний (приобретение 
и формирование знаний) являются весьма перспективными и быст- 
ро развивающимися разделами инженерии знаний, однако до сих пор 
они не достигли промышленного уровня и представляют больше науч- 
ный, нежели практический, интерес. Наибольшее же распространение 
в настоящее время по-прежнему имеет стратегия «ручного» проекти- 
рования баз знаний, т.е. извлечение знаний путем живого общения 
инженера по знаниям с экспертом или другим источником знаний. 
Это весьма трудоемкая процедура, и, как отмечают многие специа- 
листы, она является «узким горлышком» в общем процессе создания 
экспертной системы. 

Существует множество рекомендаций по организации работы экс- 
перта, выбору его поведения. Знакомство с предметной областью 
рекомендуется начинать с изучения соответствующей литературы, учеб- 
ников, монографий, статей, отчетов, сведений из сети Интернет. Затем 
целесообразно применение коммуникативных методов, подразумева- 
ющих вступление в контакт с экспертами. Коммуникативные методы 
разделяют на пассивные и активные. Пассивные включают наблюде- 
ния за объектом (технологическим процессом и др.), составляющим 
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предметную область, наблюдения за работой эксперта, за процессом 
принятия решений. К пассивным методам относится также про- 
слушивание лекций, читаемых экспертом, изучение его инструкций 
и протоколов «мыслей вслух» — попыток объяснить принимаемые им 
решения. 

Активные методы отличаются широким разнообразием ассорти- 
мента. Это анкетирование, интервью, свободный диалог, экспертные 
игры, дискуссии за круглым столом с участием нескольких экспертов, 
мозговой штурм. В результате инженер по знаниям формирует кон- 
цептуальную структуру предметной области — модель предметной 
области, включающую описание ее объектов и связей между ними. 
Концептуальную структуру изображают в виде графов, фреймов либо 
описывают словами. Затем формируется функциональная структу- 
ра предметной области — модель рассуждений эксперта и процесса 
принятия решений. Она представляется в виде таблицы, графа или 
в виде предложений естественного языка. Здесь могут присутство- 
вать математические формулы, отражающие внутренние закономерно- 
сти предметной области, а также продукционные правила, имеющие 
эвристическую природу, а потому снабженные коэффициентами уве- 
ренности. 

Процесс проектирования базы знаний заканчивается ее формали- 
зацией и программной реализацией. 


КОНТРОЛЬНЫЕ ВОПРОСЫ И ЗАДАНИЯ 


1. Приведите примеры предметных областей, в которых знания 1) лег- 
ко поддаются формализации, 2) плохо поддаются формализации, 
3) не могут быть формализованы. 

2. Дайте определение и сформулируйте назначение экспертной си- 

стемы. 

Приведите примеры известных вам экспертных систем. 

Что такое оболочка экспертной системы? 

Какой, по вашему мнению, должен быть коллектив разработчиков 

экспертной системы? 

6. Перечислите и охарактеризуйте стадии и этапы разработки экс- 
пертных систем. 

7. Назовите отличительные признаки экспертной системы. 

Назовите и охарактеризуйте основные стратегии получения знаний. 

9. Почему задачу извлечения знаний называют «узким горлышком» 
в проектировании экспертных систем? Какие идеи вы можете 
предложить для устранения этой ситуации? 


а и 


оо 


Глава 4 


ПОНЯТИЕ О КЛАССИЧЕСКОЙ 
НЕЙРОННОЙ СЕТИ 


4.1. МОЗГ И КОМПЬЮТЕР 


Нейронные сети и нейрокомпьютеры — это одно из направлений 
компьютерной индустрии, в основе которого лежит идея создания 
искусственных интеллектуальных устройств «по образу и подобию» 
человеческого мозга. Дело в том, что большинство современных ком- 
пьютеров имеет архитектуру фон Неймана. Согласно этой архитектуре, 
они имеют центральный процессор, запоминающее устройство, устрой- 
ства ввода, устройства вывода, устройства хранения информации. По 
своей структуре и свойствам эти компьютеры весьма далеки от нашего 
естественного компьютера — человеческого мозга. В подтверждение 
этому в табл. 4.1 приведены признаки, отличающие человеческий 
мозг от неймановского компьютера. 


Таблица 4.1 
Сопоставление принципов построения и свойств современного компью - 
тера (машины фон Неймана) и человеческого мозга 


Признаки Компьютер Человеческий мозг 
Сложный Простой 
Процессор Высокоскоростной Низкоскоростной 
Один или несколько Большое количество 


Отделена от процессора Интегрирована в процес- 
Память сор 


Локализована Распределенная 


Адресация не по Адресация по содержанию 
содержанию 


Среда функци- | Строго определенная Плохо определенная 
онирования 


Строго ограниченная Без ограничений 
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Дендриты 


Рис. 4.1. Нейроны человеческого мозга 


Основатели же нейрокибернетики ) задались целью создать элек- 
тронные устройства, адекватные мозгу не только на функциональном, 
но и на структурном уровне. Для этого им пришлось обратиться за 
сведениями к биологам. Как же устроен человеческий мозг? 

Известно, что мозг человека состоит из белого и серого вещества: 
белое вещество — это тела нервных клеток, называемых нейронами, 
а серое вещество — соединяющие их нервные волокна. Каждый 
нейрон состоит из трех частей: тела клетки, дендритов и аксона 
(рис. 4.1). Дендриты и аксон — это нервные отростки, через которые 
нейрон обменивается электрическими сигналами с другими нейронами. 
Каждый нейрон может иметь до 10 000 дендритов и всего лишь один 
аксон. Через дендриты нейрон принимает электрические сигналы, 
поступающие от других нейронов по нервным волокнам, как по 
проводам. Если сигналов много и они достаточно интенсивны, то 
нейрон переходит в возбужденное состояние и сам вырабатывает 
электрический сигнал, который передает в аксон. Аксон на своем 
другом конце разветвляется на тысячи нервных волокон, которые 
затем соединяются с дендритами других нейронов. Места соединения 
нервных волокон с дендритами называются синаписами. 

Как же человеческий мозг запоминает информацию и как ее 
обрабатывает? Ответить на этот вопрос биологи не могли. Но зато 
они знали, что общее число нейронов в течение жизни человека 
практически не изменяется. Это значит, что мозг ребенка и мозг 
взрослого человека содержат приблизительно одинаковое количество 


ПЭту стратегию создания интеллектуальных систем в гл. 1 книги мы также 
называли низкоуровневой, или восходящей. 
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нейронов. Примерно одинаковое количество нейронов содержит мозг 
ученого, политического деятеля, солдата, спортсмена. Отличие состоит 
в величинах электропроводностей синапсов. 

Как известно из электротехники, электропроводность проводника 


р — это величина, обратная его электрическому сопротивлению В, 


т.е. р = 2. Сопротивление А входит в закон Ома, И = ІК, как 


коэффициент пропорциональности между приложенной к концам 
проводника разности потенциалов И и силой тока /, возникающего 
в проводнике под действием этой разности потенциалов. Чем 
выше электропроводность проводника р, тем лучше его способность 
проводить электрический ток. 

Биологи же электропроводности синапсов называют силами меж- 
нейронных синаптических связей. По их мнению, мозг одного чело- 
века отличается от мозга другого человека прежде всего величинами 
сил межнейронных синаптических связей. На этом основании была 
высказана гипотеза о том, что все наши мысли, эмоции, знания, вся 
информация, хранящаяся в человеческом мозге, закодирована в виде 
огромного количества чисел, характеризующих силы межнейронных 
синаптических связей. 

А теперь попробуем оценить, сколько же чисел способен запомнить 
такой гипотетический мозг, если принять, что с помошью одной 
синаптической связи можно закодировать одно число. 

В человеческом мозге содержится приблизительно 10!! нейронов. 
Каждый нейрон связан с 103...10% другими нейронами. Таким образом, 
биологическая нейронная сеть, составляющая мозг человека, содержит 
10'4...10'5 синапсов. Получается, что именно такое количество чисел 
способен хранить человеческий мозг и что именно таким количеством 
чисел закодированы в нашем мозге все наши знания, весь жизненный 
опыт, все мысли и эмоции, вся информация, которую мы получаем 
на протяжении жизни. 

Приведенные выше представления о строении и функционировании 
мозга в настоящее время считаются научно обоснованным фактом. Ни 
у кого из ученых не вызывает сомнений, что разум человека создается 
огромным количеством мельчайших нервных клеток — нейронами, 
непрерывно исполняющими свой «информационный танец». Что это 
за «танец», мы рассмотрим в следующих параграфах. 


4.2. МАТЕМАТИЧЕСКИЙ НЕЙРОН 
МАК-КАЛЛОКА—ПИТТСА 


Первой работой, которая заложила теоретический фундамент для 
создания интеллектуальных устройств, моделирующих человеческий 
мозг на самом низшем — структурном — уровне, принято считать 


4.2. Математический нейрон Мак-Каллока—Питтса 45 


опубликованную в 1943 г. статью Уоррена Мак- 
Каллока и Уолтера Питтса «Идеи логических вы- А 
числений в нервной деятельности» [100]. Ее авторы, 
американские ученые математики-нейрофизиологи, 
по праву считаются основателями нейроинформати- 
ки. Они предложили математическую модель нейрона 
мозга человека, назвав ее математическим или 
модельным нейроном. 

У. Мак-Каллок и В. Питтс предложили изображать Рис. 4.2. Мате- 
нейрон в виде кружочка со стрелочками, как показано Матический ней- 
на рис. 4.2. Стрелки означают входы и выход нейрона. Рон Мак-Калло- 
Через входы математический нейрон принимает = пив 
входные сигналы хі, хэ,..., ху,.... хл и суммирует их, умножая 
каждый входной сигнал на некоторый весовой коэффициент и’: 


х № 


Ху 


Ј 
5 = Уур. (4.1) 
= 


После выполнения операции суммирования математический нейрон 
формирует выходной сигнал у согласно следующему правилу: 


_ ] 1, если 5 >; 
У 0, если 5 <0, 


где 0 — порог чувствительности нейрона. 

Таким образом, математический нейрон, как и его биологический 
прототип — нейрон мозга, может существовать в двух состояниях — 
возбужденном и невозбужденном. Если взвешенная сумма входных 
сигналов 5 меньше пороговой величины 0, то математический 
нейрон не возбужден и его выходной сигнал равен нулю. Если же 
входные сигналы достаточно интенсивны и их сумма достигает порога 
чувствительности 60, то нейрон переходит в возбужденное состояние 
и на его выходе формируется сигнал у = 1. 

Весовые коэффициенты и; имеют определенный физический смысл. 
Они имитируют электропроводности нервных волокон, тех самых, 
которые биологи называют силами межнейронных синаптических 
связей, или синаптическими весами. Чем эти силы больше, тем 
большей величины сигналы попадают в нейрон и тем выше вероятность 
его перехода в возбужденное состояние. 

Ранее мы уже отмечали, что биологи придают силам синаптических 
связей очень важное значение. Многие из них полагают, что именно 
с их помощью человеческий мозг кодирует всю имеющуюся у него 
информацию. Как мы увидим далее, в искусственном мозге — 
в нейронных сетях и в нейрокомпьютерах — происходит то же самое. 
Вся информация в них тоже кодируется в виде множества чисел, 
характеризующих силы межнейронных синаптических связей иу. 


(4.2) 
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у у 
Е —— | 
| 
| 
| 
оо 5 0 5 
а) 6) 


Рис. 4.3. Пороговые активационные функции нейрона, заданные форму- 
лами: а — (4.2); 6 (4.4); в — (4.5) 


Логическая функция (4.2) называется активационной функцией 
нейрона. Ее графическое изображение, представленное на рис. 4.3, а, 
по форме напоминает ступеньку, поэтому ее называют функцией- 
ступенькой. 

Таким образом, математический нейрон представляет собой поро- 
говый элемент с несколькими входами и одним выходом. Каждый 
математический нейрон имеет свое определенное значение порога 
чувствительности Ө. 

Авторы математического нейрона У. Мак-Каллок и В. Питтс в своей 
статье [100] также показали, что с помощью математического ней- 
рона можно моделировать различные логические функции, например 
функцию логического умножения «И» (ее также обозначают «АМО»), 
функцию логического сложения «ИЛИ» («ОК») и функцию логическо- 
го отрицания «НЕТ» («МОТ»). Таблицы истинности этих логических 
функций приведены в табл. 4.2, в которых значение логических функ- 
ций «истинно» закодировано единицей, а значение «ложно» — нулем. 

С помощью этих таблиц и формул (4.1)—(4.2) нетрудно убедиться, 
что математический нейрон (рис. 4.4), имеющий два входа с единич- 
ными силами синаптических связей у = мә = 1, моделирует функцию 
логического умножения «И» при 0 = 2, Этот же нейрон моделирует 
функцию логического сложения «ИЛИ» при задании Ө = 1. Матема- 


Таблица 4.2 
Таблицы истинности логических функций 
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Р х х5 


«И» «ИЛИ» «НЕТ» 


Рис. 4.4. Математические нейроны, моделирующие логические функции 


тический нейрон с одним входом моделирует функцию «НЕТ» при 
задании и = 1 и 0 = 0. 

В современной литературе иногда вместо понятия порога чув- 
ствительности нейрона 9 используют термин нейронное смещение Б, 
которое отличается от @ только знаком: В = —0. Если его добавить 
к сумме (4.1): 


Ј 
5 = Умур +6, (4.3) 
= 
то пороговая активационная функция нейрона примет вид: 


_ Ј1, если 5 > 0; 
У 0, если 5 < 0. 


Графическое представление этой активацион- 
ной функции приведено на рис. 4.3,6. Еще 
более симметричный вид, представленный на 
рис. 4.3, в, активационная функция нейрона 
приобретает при использовании формулы: 


Е 1, если 5 > 0; 
У —1, если 5 < 0. 


В формуле (4.3) нейронное смещение В мож- 
но рассматривать как вес мо некоторого до- Рис. 4.5. Нейронное 
полнительного входного сигнала хо, величина СМещение № интерпрети- 


которого всегда равна единице: а и 
тельного входа с силои 


ы 4 синаптической связи мо, 
5 = у Уух; мохо = у Муху. (4.6) сигнал которого хо все- 
=1 /=0 гда равен единице 


(4.5) 


Нейрон с дополнительным входом хо изоб- 
ражен на рис. 4.5. 

Подводя итог изложенному, еще раз отметим, что, согласно наи- 
более распространенным современным научным представлениям, вся 
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информация и все знания в человеческом мозге кодируются и хра- 
нятся в виде матрицы сил межнейронных синаптических связей. На 
языке электротехники сила межнейронной синаптической связи — 
это электропроводность синапса, который представляет собой точку 
электрохимического контакта между дендритом нейрона и нервным 
волокном. Математический нейрон Мак-Каллока — Питтса — это ма- 
тематическая модель биологического нейрона мозга, учитывающая его 
структуру и функциональные свойства. 


Контрольные вопросы и задания к 8 4.2 


1. Назовите несколько отличительных признаков в принципах дей- 
ствия современного компьютера, выполненного по схеме фон 
Неймана, от мозга. 

2. Сколько нейронов имеет человеческий мозг? 

3. Сколько дендритов и сколько аксонов может иметь нейрон? Ка- 
ково их назначение? 

4. В каком виде хранится информация в человеческом мозге? 

5. Объясните на языке электротехники значение термина «сила си- 
наптической связи». В каких единицах она измеряется? 

6. Какой объем памяти имеет человеческий мозг? Сколько чисел он 
может запомнить? 

7. Напишите формулы, с помощью которых происходит преобразо- 
вание сигналов в математическом нейроне Мак-Каллока—Питтса. 

8. Нарисуйте графическое изображение активационной функции ма- 
тематического нейрона Мак-Каллока— Питтса. 

9. Нарисуйте математические нейроны, реализующие логические 
функции «И», «ИЛИ», «НЕТ» и приведите соответствующие им 
значения сил синаптических связей и порогов. 

10. Зайдите на сайт уүү.ІЉАі.ги и выполните лабораторную рабо- 
ту № 1 — обучите математический нейрон моделировать функции 
«И» и «ИЛИ». В случае затруднений или заинтересованности 
обратитесь к учебно-методическим пособиям [73, 88]. 


4.3. ПЕРСЕПТРОН РОЗЕНБЛАТТА И ЕГО ОБУЧЕНИЕ 


Как отмечалось ранее, американские ученые У. Мак-Каллок и В. Питтс 
предложили математическую модель нейрона мозга человека, назвав 
ее математическим нейроном. Так же как и биологический нейрон, 
математический нейрон имеет несколько входов и один выход, может 
существовать в возбужденном и невозбужденном состояниях, причем 
переход в возбужденное состояние зависит от величины поступаю- 
щих к нему сигналов и сил межнейронных синаптических связей. 
Таким образом, математический нейрон весьма правдоподобно имити- 
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Рис. 4.6. Математические нейроны, связанные между собой проводами 
в нейронную сеть 


рует структуру и свойства своего прототипа — биологического нейрона 
мозга. На этом основании У. Мак-Каллок и В. Питтс в своей ста- 
тье [100] высказали весьма смелую и даже несколько фантастическую 
гипотезу, которая впоследствии легла в основу современной нейро- 
информатики. Они предположили, что если математические нейроны 
связать между собой проводами, имитирующими нервные волокна 
мозга (рис. 4.6), и пустить по проводам электрические сигналы, как 
это происходит в мозге, то такой искусственный мозг будет спосо- 
бен решать интеллектуальные задачи подобно тому, как это делает 
естественный человеческий мозг! 

И эта идея, которую критики называли абсурдной, через 15 лет была 
блестяще подтверждена американским ученым Фрэнком Розенблат- 
том [48, 101, 102]. В 1958 г. он создал компьютерную программу для 
ІВМ-794, эмулирующую деятельность математических нейронов. Это 
была первая нейронная сеть или сокращенно — нейросеть. Она была 
названа иерсептроном от английского слова реғсерііоп — осознание. 

Затем, спустя два года, Розенблатт смонтировал электронное устрой- 
ство, в котором функции математических нейронов выполняли от- 
дельные электросхемы, работающие на электронных лампах. Это был 
первый нейрокомпьютер, который успешно решал сложнейшую интел- 
лектуальную задачу — распознавал буквы латинского алфавита, изобра- 
женные на карточках, подносимых к его считывающему устройству — 
электронному глазу. 

Итак, смелую гипотезу Мак-Каллока — Питтса удалось подтвер- 
дить экспериментальным путем. Но раз эксперимент удался, значит, 
правильными оказались наши представления о биологической струк- 
туре и строении мозга, о его внутренних электрофизиологических 
процессах, о способе запоминания и хранения информации. Бы- 
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х =0 


Рис. 4.7. Персептрон, классифицирующий числа на четные и нечетные 


ла подтверждена адекватность математического нейрона, как модели 
биологического нейрона. Была подтверждена адекватность нейросе- 
ти и нейрокомпьютера, как модели мозга. «Нельзя сказать, что мы 
точно воспроизводим работу человеческого мозга, — писал Ф. Розен- 
блатт, —но пока персептрон ближе всего к истине». 

Разберем принцип действия персептрона на примере решения кон- 
кретных задач. На рисунке 4.7 приведен один из простейших вариантов 
исполнения персептрона, предназначенного для классификации чисел 
на четные и нечетные. Представим себе матрицу из 12 фотоэлемен- 
тов, расположенных в виде четырех горизонтальных рядов по три 
фотоэлемента в каждом ряду. На матрицу фотоэлементов накладыва- 
ется карточка с изображением цифры, например, «4» (см. рис. 4.7). 
Если на какой-либо фотоэлемент попадает фрагмент цифры, то этот 
фотоэлемент вырабатывает сигнал в виде единицы, в противном слу- 
чае — нуль. На рис. 4.7 на первый фотоэлемент не попал фрагмент 
цифры, и поэтому его сигнал х! = 0; на второй фотоэлемент попал 
фрагмент цифры, и поэтому он вырабатывает сигнал х› = 1 и т. д. 

Согласно формулам (4.1)—(4.2), математический нейрон выполняет 
суммирование входных сигналов ху, помноженных на синаптические 
веса иу. Затем результат суммирования „5 сравнивается с порогом 
чувствительности Ө и вырабатывается выходной сигнал у. 

Первоначальные значения синаптических весов у; и порога чувстви- 
тельности Ө Розенблатт задавал датчиком случайных чисел, поэтому 
на выходе персептрона случайным образом вырабатывался сигнал: 
либо 0, либо 1. 

Задача состояла в следующем. Требовалось подобрать значения си- 
наптических весов и; такими, чтобы выходной сигнал у принимал 
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значение единица, если на карточке было изображено четное число, 
и нуль, если число было нечетным. 

Эту задачу Ф. Розенблатт решил путем поочередного накладывания 
на фотоэлементы карточек и обучения персептрона путем корректи- 
ровки синаптических весов му. Если, например, на вход персептрона 
предъявлялась карточка с цифрой «4» и выходной сигнал у случайно 
оказывался равным единице, означающей четность, то корректиро- 
вать синаптические веса было не нужно, так как реакция персептрона 
правильна. А если выходной сигнал оказался равным нулю, что непра- 
вильно, то следовало увеличить (поощрить) веса тех активных входов, 
которые способствовали возбуждению нейрона. В данном случае уве- 
личению подлежали и», и др. 

Следуя этой идее, можно сформулировать итерационный алгоритм 
корректировки синаптических весов, обеспечивающий обучение пер- 
септрона в нужном направлении. 

Шаг 1. Датчиком случайных чисел всем синаптическим весам 
и (=1,..., 12) и порогу чувствительности нейрона Ө присвоить 
некоторые малые случайные значения. 

Шаг 2. Предъявить персептрону какую-либо цифру. Системой 
фотоэлементов вырабатывается входной вектор х; (/ = 1,..., 12). 

Шаг 3. Нейрон выполняет взвешенное суммирование входных 


сигналов 12 
5 = У их 
27 


и вырабатывает выходной сигнал у= 1, если 5 20, или у= 0, если 5 <0. 
Шаг 4, а. Если выходной сигнал правильный, то перейти на шаг 2. 
Шаг 4, 6. Если выходной сигнал неправильный и равен нулю, то 

увеличить веса активных входов: например, добавить каждому /-му 

синаптическому весу величину /-го входного сигнала 
(Е + 1) = "(О + у. 

Тогда, если вход был неактивен, т.е. ху = 0, то /-й синаптически 

вес не изменится. Если же вход был активен, т.е. жу = 1, то /- 

синаптический вес будет увеличен на единицу. 

Здесь и далее { означает номер итерации, которые в искусствен- 
ном интеллекте называют эпохами; и,(Е- 1) — новое значение (на 
новой эпохе) /-го синаптического веса; и’(Р) —его старое значение 
(на предыдущей эпохе). 

Шаг 4, в. Если выходной сигнал неправильный и равен единице, 
то уменыпить веса активных входов, например, с помощью анало- 
гичной формулы: 


Й 
Й 


м( + 1) = "КВ – ху. 


Шаг 5. Перейти на шаг 2 или завершить процесс обучения. 
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В приведенном здесь алгоритме шаг 4, б называют иервым правилом 
Хебба, а шаг 4, в — вторым правилом Хебба в честь канадского ученого 
физиолога Д. О. Хебба, предложившего этот алгоритм в 1949 г. [94]. 

Отметим, что алгоритм обучения персептрона с помощью правил 
Хебба удивительным образом напоминают процесс обучения ребен- 
ка или студента методом «поошрения — наказания» (или дрессировки 
животного методом «кнута и пряника»). Обратим внимание также на 
то, что первоначальные значения синаптических весов у; задаются 
датчиком случайных чисел. Это соответствует тому, что при рож- 
дении человека или животного его мозг еще не накопил знаний, 
и поэтому силы синаптических связей у; имеют какие-то случай- 
ные значения. Как и в случаях с ребенком, студентом и животным, 
обучаемом методом «поощрения-наказания», алгоритм обучения пер- 
септрона за конечное число попыток (их называют итерациями, или 
эпохами) может привести к цели — персептрон в конце концов усво- 
ит необходимые знания, закодирует их в виде конкретных значений 
матрицы сил синаптических связей и; и, таким образом, научится 
различать четные и нечетные числа. 

Рассмотренный выше алгоритм обучения персептрона можно пред- 
ставить в более общей форме. Если через 4 обозначить требуемый 
выходной сигнал (от слов 4еяте гезроизе, что в переводе с англий- 
ского означает — желаемый отклик), то на каждой эпохе обучения 
можно определять разницу между требуемым ответом персептрона 4 
и реальным значением у, вычисляемым на его выходе: 

== а – у. 
Тогда: 
® случай 5 = 0 соответствует шагу 4, а; 
® случай = > 0 соответствует шагу 4, 6; 
® случай 5 < 0 соответствует шагу 4, в. 

Идея алгоритма обучения персептрона с помощью правил Хебба со- 
хранится, если итерационный процесс корректировки синаптических 
весов вести по формулам: 


(Е 1) = (И + Лиу; (4.7) 
Дуу = &Х,, (4.8) 


где и/;(1) и м;(7+ 1) — старое и новое значения весовых коэффициентов 
персептрона; / — номер входного сигнала. 

Кроме того, можно получить аналогичную итерационную формулу 
для подстройки нейронного смещения р, если учесть, что его мож- 
но интерпретировать как вес му дополнительного входа хо, значение 
которого равно единице (см. рис. 4.5 и формулы (4.3)—(4.6)): 


\о(Ё+ 1) = "о (@) + Амо; (4.9) 
Луо = 5. (4.10) 
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В итерационные формулы полезно ввести коэффициент скорости 
обучения п, с помощью которого можно управлять величиной кор- 
рекции синаптических весов и нейронного смещения: 


Лу; = деху; (4.11) 
Луо = 15. (4.12) 


При д = 1 коэффициент скорости обучения не влияет на итераци- 
онный процесс. При у > 1 процесс обучения ускоряется, однако при 
слишком больших значениях коэффициента 7 итерационный процесс 
может потерять устойчивость и разойтись. При у < 1 итерационный 
процесс обычно стабилизируется, но при этом могут чрезмерно возрас- 
ти временные затраты. На практике коэффициент скорости обучения 
7 задают в пределах от 0,05 до 1,5. 

Алгоритм обучения персептрона с использованием этих формул 
известен под названием дельта-правила. 

Естественно, возникает вопрос, всегда ли алгоритм обучения пер- 
септрона приводит к желаемому результату. Ответ на этот вопрос дает 
теорема сходимости персептрона: 


Если существует множество значений весов, которые обеспе- 
чивают требуемое распознавание образов, то в конечном итоге 
алгоритм обучения персептрона приводит либо к этому множеству, 
либо к другому множеству, такому, что требуемое распознавание 
образов будет достигнуто. 


Как следует из этой теоремы, задача нахождения матрицы весовых 
коэффициентов у;, обеспечивающих распознавание образов, может 
иметь множество решений — таких матриц может быть много. В то 
же время, в формулировке теоремы не говорится, что такие матрицы 
всегда существуют, и значит, не всегда существует решение задачи. 

В настоящее время считается, что по числу выполненных доказа- 
тельств теорема сходимости персептрона занимает первое место в мире. 
Ранее самой доказанной в мире теоремой считалась теорема Пифагора. 


Контрольные вопросы и задания к 8 4.3 


1. Чем отличается нейронная сеть от нейрокомпьютера? 

2. Каким образом вырабатываются входные сигналы ху, хо, Хз... пер- 
септрона, классифицирующего числа на четные и нечетные? 

3. Каким образом задаются первоначальные значения синаптических 
весов м], и», из,... и как они затем корректируются? 

4. В каком виде персептрон хранит знания, необходимые для распо- 
знавания цифр? 

5. Что подразумевается под введенными нами обозначениями 4 и у? 
Чем они отличаются? 
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6. Напишите формулы, по которым, согласно алгоритму дельта-пра- 
вила, корректируются синаптические веса и нейронные смещения. 

7. Какая теорема считается самой доказанной в мире теоремой? 

Дайте формулировку теоремы сходимости персептрона. 

9. Зайдите на сайт уүү.ІЉАі.ги и выполните лабораторную рабо- 
ту № 2 — обучите персептрон классифицировать числа на четные 
и нечетные. В случае затруднений или заинтересованности обра- 
титесь к учебно-методическим пособиям [73, 88]. 
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4.4. РАСПОЗНАВАНИЕ БУКВ 


Дальнейшее развитие идеи персептрона и алгоритмов обучения свя- 
зано с усложнением его структуры и функциональных свойств. На 
рисунке 4.8 представлена схема персептрона, предназначенного для 
распознавания букв русского алфавита. В отличие от предыдущей 
схемы такой персептрон имеет 33 выходных нейрона: каждой букве 
алфавита соответствует свой выходной нейрон. Полагается, что сиг- 
нал первого выходного нейрона у! должен быть равен единице, если 
персептрону предъявлена буква «А», и равен нулю, если предъявляет- 
ся любая другая буква. Выход второго нейрона уз должен быть равен 
единице, если персептрону предъявлена буква «Б», и равен нулю во 
всех остальных случаях. И так далее до буквы «Я». 

Алгоритм обучения данного персептрона выглядит следующим об- 
разом. 

Шаг 1. Датчиком случайных чисел всем весовым коэффициен- 
там "у и нейронным смешениям "ую (і = 1, ..., 33, 1 = 1, ..., 12) 
присваиваются некоторые малые случайные значения. 

Шаг 2. Персептрону предъявляется какая-либо буква алфави- 
та, системой фотоэлементов вырабатывается входной вектор х; 
(/ = 1, ..., 12). Сигналы дополнительных нейронных входов при- 
сваиваются единичными: хо = 1. 

Шаг 3. Каждый нейрон выполняет взвешенное суммирование 


входных сигналов 
12 
5: = У и 
7—0 


и вырабатывает выходной сигнал у; = 1, если 5; > 0; у; = 0, если 55; < 0. 
Шаг 4. Для каждого нейрона вычисляется его ошибка 


є = 4; – у, 


где 4; — вектор правильных (желаемых) ответов персептрона, например 
для буквы «А» а = 1, 2 = 0, ..., зз = 0 ит. д. 
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у (А) 


Рис. 4.8. Персептрон, предназначенный для распознавания букв русского 
алфавита 


Шаг 5. Производится корректировка весовых коэффициентов 
и нейронных смещений: 


"(ЕП = му + Дуу; Диу = пе;ху; 
и (Е 1) = м0(0) + Лио; Амю = л, 


где /— номер эпохи; і = 1, ..., 33; 1 = 1, ..., 12. 

Шаг 6. Повторение шагов 2—5 необходимое количество раз. 

Заметим, что в этом алгоритме формулы для корректировки нейрон- 
ных смещений у; можно не писать, так как они будут выполняться ав- 
томатически, если цикл по индексу / начинать не от единицы, а от нуля. 

Как уже отмечалось ранее, первый действующий персептрон был 
создан в 1958—1961 гг. Он был предназначен для распознавания букв 
латинского алфавита. Буквы, отпечатанные на карточках, поочеред- 
но накладывали на табло фотоэлементов и осуществляли процесс 
обучения персептрона согласно приведенному здесь алгоритму. После 
выполнения достаточно большого количества эпох персептрон научил- 
ся безошибочно распознавать все буквы, участвовавшие в обучении. 
Таким образом, была подтверждена гипотеза о том, что компьютер, 
построенный по образу и подобию человеческого мозга, может решать 
интеллектуальные задач и, в частности, решать задачу распознавания 
образов — букв латинского алфавита. 

Но это было не все. Помимо того, что персептрон научился распо- 
знавать знакомые образы, т. е. те образы, которые демонстрировались 
ему в процессе обучения, он успешно справлялся с распознавани- 
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ем образов, которые «видел» впервые. Выяснилось, что персептрон 
оказался способным распознавать буквы, отпечатанные с небольши- 
ми искажениями и даже другим шрифтом, если шрифт не слишком 
сильно отличался от используемого при обучении персептрона. 

Свойство мозга узнавать образы, которые ему встретились впервые, 
называется свойством обобщения. Это свойство было унаследовано 
персептроном непосредственно от его прототипа — мозга. Оно бы- 
ло унаследовано благодаря тому, что персептрон является адекватной 
моделью мозга, удачно отражающей как его структурные, так и функ- 
циональные качества. Именно свойство обобщения впоследствии поз- 
волило применять нейронные сети для решения широчайшего круга 
практических задач, недоступных для традиционных методов инфор- 
матики. Именно благодаря этому свойству нейронные сети стали 
эффективнейшим инструментом научных исследований и практиче- 
ских приложений. Именно благодаря этому свойству нейросетевые 
и нейрокомпьютерные технологии заняли то лидирующее положение, 
которое они занимают в настоящее время. 


Контрольные вопросы и задания к 8 4.4 


1. Что такое коэффициент скорости обучения, для чего он нужен 
и в каких пределах его обычно задают? К чему приводят слишком 
большие и слишком маленькие значения скорости обучения? 

2. Чем отличается схема персептрона, предназначенного для клас- 
сификации чисел на четные и нечетные, от схемы персептрона, 
распознающего буквы русского алфавита? 

3. Какое количество выходных нейронов должен иметь персептрон, 
предназначенный для распознавания не только букв, но и цифр? 

4. Что понимается под свойством обобщения, которым обладает мозг 
человека и его модель — персептрон? 

5. Как научить персептрон распознавать не только печатные, но и ру- 
кописные буквы? 

6. Зайдите на сайт уүүу.ІЉАі.ги и выполните лабораторные работы 
№ 3, 4 — обучите персептрон распознавать буквы алфавита. В слу- 
чае затруднений или заинтересованности обратитесь к учебно- 
методическим пособиям [73, 88]. 


4.5. СИГМОИДНАЯ АКТИВАЦИОННАЯ ФУНКЦИЯ 
И ОБОБЩЕННОЕ ДЕЛЬТА-ПРАВИЛО 


Персептрон, схема которого приведена на рис. 4.8, предназначен для 
распознавания букв алфавита. Можно попытаться использовать его 
для решения других практических задач, например ставить диагнозы 
болезней или определять: свой или чужой самолет подлетает к гра- 
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у, (Инфаркт) 


(Стенокардия) 


Рис. 4.9. Персептрон, предназначенный для медицинской диагностики 


у, (Свой) 


У, (Чужой) 


Рис. 4.10. Персептрон, предназначенный для распознавания военных объ- 
ектов 


ницам страны. Все зависит от того, какой смысл придавать входному 
вектору х; и выходному вектору у;. 

Так, например, если в качестве х; на вход персептрона подавать 
сигналы, кодирующие симптомы заболевания человека, а в качестве 
у; на выходе персептрона снимать сигналы, кодирующие диагнозы 
его заболеваний (рис. 4.9), то на основе такого персептрона можно 
построить систему медицинской диагностики. 

А если в качестве х; на вход персептрона подавать сигналы с ра- 
дара, который обнаружил подлетающий к границам страны самолет 
(рис. 4.10), а в качестве у; на выходе персептрона снимать сигналы, 
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5 


Рис. 4.11. Сигмоидная активационная функция у = (5) 


кодирующие информацию о том, является ли запеленгованный само- 
лет «своим» или «чужим», то на основе такого персептрона можно 
создать систему обнаружения-распознавания военных объектов. 

Однако следует заметить, что для других классов задач, например 
прогнозирование погоды, температуры воздуха, прогнозирование коти- 
ровок акций и курсов валют, такой персептрон не годится, так как он 
может выдавать только бинарные результаты типа «нуль» и «единица». 

Круг решаемых задач значительно расширится, если научить персеп- 
трон выдавать не только бинарные выходные сигналы, но и аналоговые, 
т.е. имеющие непрерывные значения. Такое развитие персептрона бы- 
ло сделано американскими учеными Б. Уидроу и М. Е. Хоффом [107], 
которые вместо ступенчатой активационной функции (см. рис. 4.3) 
ввели непрерывную 

— 1 
у ЕЕЕ. (4.13) 
график которой изображен на рис. 4.11. 

Эту функцию назвали сигмоидой за то, что ее графическое изоб- 
ражение напоминает латинскую букву «5». Другое название сигмо- 
иды — логистическая функиия. Для сигмоиды приняли обозначение 
У = (8). 

Подобно обычной пороговой функции активации, сигмоида отоб- 
ражает точки области определения (—оо, +оо) в значения из интервала 
(0, +1). Практически сигмоида обеспечивает непрерывную аппрокси- 
мацию классической пороговой функции. 

Появление персептронов с непрерывными активационными функ- 
циями обусловило появление новых подходов к их обучению. Б. Уид- 
роу и М. Е. Хофф предложили минимизировать квадратичную ошибку, 
определяемую формулой: 

1 
= 1 2 
&=1» (4: - у), (4.14) 
1=1 
в которой, как и раньше, 4; — требуемый (желаемый) выход і-го ней- 
рона, а у; — выход, который получился в результате вычислений пер- 
септрона. 
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Рис. 4.12. Персептрон с Ј входами и / выходами 


Рассмотрим алгоритм коррекции весовых коэффициентов персеп- 
трона, имеющего Ј входов и / выходов (рис. 4.12). 

Квадратичная ошибка обучения персептрона = зависит от того, 
какими являются весовые коэффициенты у. Другими словами, = яв- 
ляется функцией от множества весовых коэффициентов: = = &(\,). 
Для ее графического представления требуется многомерная систе- 
ма координат, которую мы в нашем трехмерном мире представить 
себе не можем. В этой многомерной системе координат функция 
& = =(у;) изображается в виде многомерной поверхности, называемой 
гиперповерхностью. 

Чтобы хоть как-то представить себе гиперповерхность, предпо- 
ложим, что все аргументы уу «заморожены», т.е. не меняются, за 
исключением двух, например и.) и иу; ;+1, которые являются пере- 
менными. Тогда в трехмерной системе координат (и; ;,№;;+1, &) ГИ- 
перповерхность будет иметь вид фигуры, напоминающей параболоид, 
которую назовем исевдопарабалоидом (рис. 4.13). Процесс обучения 
персептрона теперь можно представить как отыскание такого со- 
четания весовых коэффициентов уу, которому соответствует самая 
нижняя точка гиперпсевдопараболоида. Задачи подобного рода на- 
зываются оптимизационными. Говорят, что оптимизационная задача 
состоит в минимизации функции = = &(и;) в многомерном простран- 
стве параметров уу. 


60 Глава 4. Понятие о классической нейронной сети 


У, уб +1) 
и; 10) 


У; у 


Рис. 4.13. Графическое изображение функции-ошибки персептрона 
& = &(\у) в трехмерной системе координат и;;, иру+1, & 


Таким образом, если раньше мы говорили, что персептрон обуча- 
ют методом «поощрения — наказания», то теперь мы будем говорить, 
что задача обучения персептрона — это задача оптимизации (миними- 
зации) функции-ошибки персептрона = = &(у;;). Иногда ее называют 
погрешностью персептрона. 

Существует множество методов решения оптимизационных задач. 
Наиболее простым методом является перебор весовых коэффициен- 
тов Ух с последующими вычислениями и сравнениями между собой 
значений функции 5, соответствующих этим коэффициентам. Однако 
более эффективны так называемые градиентные методы. 

Градиент функции является очень важным математическим поняти- 
ем, с которым обычно знакомятся на первых курсах вузов. Напомним, 
что градиент функции = = &(у;) представляет собой вектор, проек- 
циями которого на оси координат являются частные производные от 
функции = по этим координатам д=/дуу;, и что градиент функции 
всегда направлен в сторону ее наибольшего возрастания. Поскольку 
задача состоит в отыскании минимума функции є = &(у;), то нам 
надо опускаться по поверхности ошибок, что обеспечивается движе- 
нием в сторону, противоположную градиенту этой функции. Отсюда 
название — метод градиентного спуска. 

Движение в сторону, противоположную градиенту, будет осуществ- 
ляться, если на каждой эпохе к координатам текущей точки уу 
мы, используя знакомую нам из прошлого параграфа итерационную 
формулу му(Е + 1) = \/( + Ажу, будем добавлять величину, прямо 
пропорциональную частной производной по координате уу, взятую 
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с противоположным знаком: 


Арн. 98. (4.15) 


Здесь 1 — некоторый коэффициент, обычно задаваемый в пределах от 
0,05 до 1,5 и называемый, как и раньше, коэффициентом скорости 
обучения. 

Обратите внимание, что, согласно формуле (4.15), мы движемся не 
только в сторону убывания функции, но и со скоростью, прямо про- 
порциональной скорости убывания (т. е. крутизне) функции, так как 
делаем шаг Лу;;, пропорциональный производной, взятой со знаком 
минус. 

Квадратичная ошибка = является сложной функцией, зависящей от 
выходных сигналов персептрона у;, которые, в свою очередь, зависят 
от у, Т.е. = = &(УКиу)). По правилу дифференцирования сложной 
функции 


де = ебу 4.16 


Выходные сигналы нейронов у; вычисляются с помощью сиг- 


моидных активационных функций у; = /,(5;), аргументом ко- 
Ј 
торых являются суммы 5; = У) муху, или, что то же самое: 
Ј=1 
5; = "их! + мох +... мух, +... муху. Следовательно, 
ду; — 9/о($)) 055; ' (5 
= Е ;‚)х;. 4.17 
Оу 0.5; дуру Л 2) 4 | ) 


Аналогичным образом, вспоминая формулу (4.14) и выполняя диф- 
ференцирование = по у;, получаем: 


95 — (Ша, 

Бр а (4.18) 
Подставив (4.17) и (4.18) в (4.16) и затем полученное выражение 
в (4.15), окончательно будем иметь 


Лиу = = (—(@; — уд; ($2)х,) = па; — уд): 050)х. (4.19) 


Это выражение получено для нейронов с активационными функци- 
ями любого вида. Если /,(.5;) — сигмоида, заданная формулой (4.13), 
то 


09) = (1 +79) 1) = 3050) а = Л(50). (4.20) 


Подставив это выражение в (4.19), получим: 


Лиу = 1(0; — уг) 09) (1 705) у = (а; – УДУКТ – уг). (4.21) 


Таким образом, мы получили итерационную формулу для обучения 
персептрона 
(Е 1) = №(0) + Дуу, (4.22) 
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в которой 
Лиу = Пбих,, (4.23) 


б; = УК — УДС; — Ун). (4.24) 


Величину д;, введенную здесь с помощью формулы (4.24), в дальнейшем 
будем называть нейронной ошибкой. Алгоритм (4.22)—(4.24) называ- 
ют обобщенным дельта-правилом. Его преимущество по сравнению 
с обычным дельта-правилом состоит в более быстрой сходимости 
и в возможности более точной обработки входных и выходных непре- 
рывных сигналов, т.е. в расширении круга решаемых персептронами 
задач. 

Итак, введение сигмоидной функции активации вместо функции- 
ступеньки и появление нового алгоритма обучения — обобщенного 
дельта-правила — расширили область применения персептрона. Те- 
перь он может оперировать не только с бинарными (типа «нуль» 
и «единица»), но и с непрерывными (аналоговыми) выходными сиг- 
налами. 


Контрольные вопросы и задания к 8 4.5 


1. Нарисуйте сигмоидную активационную функцию и напишите ее 
математическую формулу. 

2. Чем сигмоидная функция активации лучше (или хуже) функции- 
ступеньки? 

3. Напишите формулу для вычисления квадратичной ошибки пер- 
септрона. От каких величин она зависит? 

4. Для чего нужен множитель 1/2 в формуле для квадратичной 
ошибки обучения персептрона? Что будет, если этот множитель 
не использовать? 

5. В виде какой геометрической фигуры изображается квадратичная 

ошибка обучения персептрона? 

Чем гиперпсевдопараболоид отличается от псевдопараболоида? 

В чем суть метода градиентного спуска? 

8. Попробуйте применить алгоритм метода градиентного спуска к за- 
даче поиска точки минимума функции у = х2. 

9. Напишите формулы итерационного процесса, соответствующего 
обобщенному дельта-правилу. 

10. Можно ли применять алгоритм обычного (необобщенного) дельта- 
правила для обучения персептрона с сигмоидными активацион- 
ными функциями? 

11. Можно ли применять обобщенное дельта-правило для обучения 
персептрона со ступенчатыми активационными функциями? 

12. Какие преимушества и недостатки имеет обобщенное дельта-пра- 
вило перед необобщенным? 


7 
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4.6. ОГРАНИЧЕННОСТЬ ОДНОСЛОЙНОГО ПЕРСЕПТРОНА 


Итак, ученым удалось обучить персептрон распознавать буквы алфави- 
та. Это был колоссальный успех: электронное устройство, созданное 
по образу и подобию человеческого мозга, обученное подобно чело- 
веку, успешно моделировало интеллектуальные функции человека. 
Это был успех в познании самой природы человеческого мышления. 
Мозг начал раскрывать свои тайны. Появилась возможность иссле- 
довать мозг методами моделирования, не прибегая к сложнейшим 
антигуманным и мало что дающим натурным экспериментам. Это 
была сенсация, приковавшая к себе внимание мыслящих людей всего 
мира. Казалось, что ключ к интеллекту был найден и полное вос- 
произведение человеческого мозга и всех его функций — всего лишь 
вопрос времени. Писателям-фантастам, ученым, инженерам, бизнесме- 
нам, политикам виделись самые радужные перспективы практического 
применения идей искусственного интеллекта. Правительство Соеди- 
ненных Штатов Америки выделило крупные субсидии на развитие 
нового перспективного научного направления. 

Благодаря изобретению сигмоидных активационных функций и ал- 
горитма градиентного спуска класс решаемых нейросетями задач рас- 
ширялся. Делались попытки применения персептронов для решения 
задач прогнозирования, таких как предсказание погоды, курсов валют 
и акций. Персептроны пытались применять для анализа электрокар- 
диограмм, для решения задач медицинской диагностики. 

Но по мере расширения фронта научных исследований появлялись 
трудности. Неожиданно оказалось, что многие новые задачи персеп- 
трон решить не мог, потому что с ростом числа эпох ошибка обучения 
5 не стремилась к нулю. Если для одних задач кривая, изображающая 
зависимость 5 от +, быстро приближалась к оси абсцисс (рис. 4.14, а), 
то для других задач (и их было подавляющее большинство!) погреш- 
ность = обучения не удавалось снизить даже при большом количестве 
эпох # (рис. 4.14, 6). 

В качестве примера можно привести провал американского про- 
екта создания системы противовоздушной обороны с использования 
персептрона. Ни огромные гранты научных исследований, ни успе- 
хи в создании быстродействующих компьютеров не помогли обучить 
персептрон решать задачи распознавания движущихся военных объ- 
ектов на «свой» и «чужой». Причем эти новые важные задачи в плане 
математической постановки практически ничем не отличались от тех, 
с которыми персептрон успешно справлялся ранее. Время шло, ите- 
рации продолжались, а погрешность обучения не падала. Возникла 
необходимость объяснения парадоксов, глубокого анализа и создания 
теоретической базы нейроинформатики. 
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5, % =, % 
110 110 
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а) 6) 


Рис. 4.14. Случай, когда ошибка обучения 5 с ростом числа эпох # 
стремится к нулю (а), и случай, когда такого стремления нет (6) 


Следующий период истории искусственного интеллекта начался 
с появления в 1969 г. книги двух известных американских математи- 
ков М. Минского и С. Пейперта «Персептроны» [34]. Авторы этой 
книги математически строго доказали, что использовавшиеся в то 
время однослойные персептроны в принципе не способны решать 
многие простые задачи. Одну из таких задач, вошедшую в историю 
нейроинформатики под названием проблемы «Исключающего ИЛИ», 
мы рассмотрим подробно. 

«Исключающее ИЛИ» — это логическая функция двух аргументов, 
каждый из которых может иметь значение «истинно» либо «лож- 
но». Сама она принимает значение «истинно», когда только один 
из аргументов имеет значение «истинно». Во всех остальных слу- 
чаях эта функция принимает значение «ложно». Если закодировать 
значение «истинно» единицей, а значение «ложно» — нулем, то тре- 
буемое соответствие между аргументами хі, х2 и самой функцией у 
можно представить в виде табл. 4.3, называемой 
таблицей истинности логической функции. 

Логическая функция «Исключающее ИЛИ» мо- 
жет быть выражена через функции логического 
умножения «И» («АМО»), логического сложения 
«ИЛИ» («ОВ») и логического отрицания «НЕТ» 
(«МОТ») с помощью логической формулы 


Хү х 


у 
у = (х1АМО МОТ >>) ОВ (хАМР” МОТ хі). (4.25) 


Рис. 4.15. Одно- 
нейронный пер- Задача состоит в том, чтобы научиться модели- 


септрон с двумя ровать функцию «Исключающее ИЛИ» с помощью 
входами и одним однонейронного персептрона с двумя входами хі 
ВЫХОДОМ и х» и одним выходом у (рис. 4.15). 
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Таблииа 4.3 Таблица 4.4 

Таблица истинности логиче- Таблица истинности логической 

ской функции «Исключаю- функции «Исключающее ИЛИ», до- 
щее ИЛИ» полненная точками 4, В, С, Р 


М. Минский и С. Пейперт в своей книге [34] предложили геометри- 
ческую интерпретацию к проблеме «Исключающего ИЛИ», состоящую 
в следующем. Они предложили изобразить на координатной плос- 
кости х, х2 все возможные комбинации входных сигналов в виде 
четырех точек: А, В, С, Р, как показано на рис. 4.16. Точка А имеет 
координаты х = 0, х› = 0; точка В имеет координаты хі = 0, х = 1 
и т. д., согласно табл. 4.4. 

Тогда в точке А выход персептрона у должен быть равен нулю, 
в точке В — единице, в точке С — единице и в точке Р— нулю. 

В соответствии с формулами (4.1)—(4.2) однонейронный персептрон 
(см. рис. 4.15) осуществляет преобразование 


5 = уху + м2; (4.26) 


_ [1, если 5 >08; 
У {© если 5 < 0. С 


Рассмотрим случай, когда 5 = 0. Это значит, что, согласно (4.26), 
выполняется равенство: 


мх + мх = 0. (4.28) 


0 1 Хү 


Рис. 4.16. Геометрическая интерпретация к объяснению проблемы 
«Исключающего ИЛИ» 
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Если в этом уравнении величины хі и х› считать переменными, а Ө, 
м и м — константами, то на координатной плоскости хі, хх рассмат- 
риваемое уравнение изобразится в виде прямой линии, положение 
и наклон которой определяются значениями коэффициентов и, и» 
и порога 0. Для всех точек плоскости хи, х2, лежащих на этой линии, 
выполняется равенство 5 = 0, и поэтому, согласно формуле (4.27), вы- 
ходной сигнал персептрона равен единице. Для точек, лежащих выше 
указанной линии, сумма мхі + их2 больше 0, и поэтому, соглас- 
но формулам (4.26)—(4.27), выходной сигнал персептрона также равен 
единице. Для точек же, лежащих ниже этой линии, сумма ух! + и’2хо 
меньше 0, и выходной сигнал персептрона равен нулю. Поэтому 
линию, изображающую уравнение (4.28), называют иороговой прямой. 

А теперь посмотрим на таблицу истинности функции «Исключа- 
ющее ИЛИ» (см. табл. 4.4). Согласно этой таблице, в точках А и В 
выход персептрона должен быть нулевым, а в точках Ви С — единич- 
ным. Но для этого надо расположить пороговую прямую так, чтобы 
точки А и ДР лежали ниже этой линии, а точки В и С — выше, что 
невозможно. Это значит, что, сколько бы персептрон ни обучали, 
какие бы значения ни придавали его синаптическим весам и поро- 
гу, персептрон в принципе не способен воспроизвести соотношение 
между входами и выходом, требуемое таблицей истинности функции 
«Исключающее ИЛИ». 

Помимо проблемы «Исключающего ИЛИ», в упомянутой выше 
книге М. Минский и С. Пейперт привели ряд других задач, в кото- 
рых точки, изображающие входные сигналы, не могут быть разделены 
пороговой прямой (в многомерных случаях — плоскостью, гиперплос- 
костью). Такие задачи получили название линейно неразделимых. 

После выхода в свет книги М. Минского и С. Пейперта «Персеп- 
троны» всем стало ясно, что предпринимавшиеся в то время попытки 
обучать персептроны решению многих задач, которые, как оказалось, 
относятся к классу линейно неразделимых, с самого начала были 
обречены на провал. Это была пустая трата времени, сил и финансо- 
вых ресурсов. Успешность же обучения персептрона распознаванию 
букв латинского алфавита — это счастливая случайность. Она объяс- 
няется тем, что задача оказалась линейно разделимой, что в жизни 
встречается крайне редко. 

Итак, доказано, что однонейронный персептрон не позволяет моде- 
лировать логическую функцию «Исключающее ИЛИ» и решать другие 
линейно неразделимые задачи. 


Контрольные вопросы и задания к 8 4.6 


1. Нарисуйте таблицы истинности логических функций «И», «ИЛИ», 
«Исключающее ИЛИ». 
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2. Дайте определение пороговой прямой. 

3. Перерисуйте рис. 4.16 и начертите на нем пороговую прямую так, 
чтобы однонейронный персептрон, параметры которого соответ- 
ствуют нарисованной вами пороговой прямой, моделировал: 

— логическую функцию «И», 
— логическую функцию «ИЛИ». 

4. Пользуясь своим рисунком, объясните, почему однонейронный пер- 
септрон не может моделировать функцию «Исключающее ИЛИ». 

5. Чем можно объяснить, что однослойный персептрон, несмотря 

на обнаружившийся в этом параграфе недостаток, все-таки смог 

научиться распознавать буквы латинского алфавита? 

Дайте определение линейно неразделимых задач. 

7. Подумайте над тем, как заставить персептрон решать линейно 
неразделимые задачи. 


е 


4.7. ПЕРСЕПТРОН СО СКРЫТЫМ СЛОЕМ НЕЙРОНОВ 


Появление книги М. Минского и С. Пейперта «Персептроны» вы- 
звало шок в научном мире. Строгие математические доказательства 
М. Минского и С. Пейперта были неуязвимы. Всеобщий энтузиазм 
сменился не менее всеобщим пессимизмом. В газетах стали появ- 
ляться критические статьи с сообщениями о том, что ученые мужи 
в своих исследованиях зашли в тупик, впустую израсходовав день- 
ги налогоплательщиков. Правительство США немедленно прекратило 
финансирование нейропроектов и приступило к поискам виновных 
в растрате государственных денег. Бизнесмены, потерявшие надежду 
вернуть вложенные капиталы, отвернулись от ученых, и нейрокибер- 
нетика была предана забвению, длившемуся более 20 лет. 

Тем не менее работы в области нейросетевых и нейрокомпью- 
терных технологий продолжались отдельными энтузиастами. Работы 
продолжались и в засекреченных научно-исследовательских институ- 
тах Советского Союза, отделенного в то время от Запада «железным 
занавесом». Не имея информации о настроениях зарубежных коллег, 
советские ученые спокойно продолжали заниматься захватившей их 
умы темой и к началу 80-х гг. удивили мир появлением не только 
нейрокомпьютерных систем распознавания «свой-чужой», но и ней- 
рокомпьютеров, управляющих полетами ракет и самолетов. Советские 
системы управления, в отличие от американских, стойко переносили 
довольно серьезные повреждения, продолжая работать в сложных усло- 
виях, что было особенно важно для объектов военного назначения. 
Выявилось еще одно, очень важное для военных свойство нейроком- 
пьютеров, унаследованное ими от мозга, — свойство живучести. 

Советским ученым С. О. Мкртчяном была издана книга «Нейроны 
и нейронные сети. Введение в теорию формальных нейронов» [35], 
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Рис. 4.17. Нейронная сеть, моделирующая функцию «Исключающее ИЛИ» 


в которой он показал, что с помощью многослойных персептронов 
может быть смоделирована любая логическая функция, если толь- 
ко известна ее логическая формула. Более того, им был разработан 
специальный математический аппарат, позволяющий конструировать 
такие персептроны. Оказалось, что проблема «Исключающего ИЛИ», 
явившаяся камнем преткновения для однонейронного персептрона, 
может быть разрешена с помощью нейронной сети, состоящей из трех 
нейронов — трехнейронного персептрона, изображенного на рис. 4.17. 

Работа этого персептрона происходит по следующему алгоритму. 
Нейрон № І: 51 = 0, 5х1 + (0, 5); 


_ }1, если $ > 0; 
7 0, если 5! < 0. 


Нейрон № 2: 95 = (—0, 5)х + 0, 5х2; 


_ ] №, если 52 > 0; 
2 0, если .5> <0. 


Нейрон № 3: 53 = 1:ур 1: У2; 


_ ]1, если 53 > 0; 
>з 0, если ,5з <0. 


Задавшись значением порога 0 = 0, 5 и заполнив с помощью этих фор- 
мул табл. 4.5, легко убедиться, что трехнейронный персептрон успешно 
моделирует функцию «Исключающее ИЛИ». 

Впоследствии было показано, что и другие линейно нераздели- 
мые задачи, приведенные в книге М. Минского и С. Пейперта, могут 
быть решены с помощью нейросетей, содержащих один или несколь- 
ко скрытых нейронных слоев, т. е. слоев нейронов, расположенных 
между входным и выходным слоями. 

Многие исследователи понимали, что нужно создавать нейросе- 
ти более сложной архитектуры, содержащие скрытые слои нейронов, 
но не представляли, как такие сети обучать. Правила Хебба и дель- 
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Таблииа 4.5 
Процесс формирования сигналов в трехнейронном 
персептроне 


ВЕЕ [51 Е Еа ЕИ ЕЕ Я 
0 


0 
1 Е з 0,5 1 | А 
0 —0,5 0 1 1 
1 0 0 0 0 


та-правило годились только для корректировки синаптических весов 
нейронов выходного слоя, тогда как вопрос о настройке параметров 
скрытых нейронных слоев оставался открытым. 


Контрольные вопросы и задания к 8 4.7 


1. Нарисуйте персептрон, моделирующий функцию «Исключающее 
ИЛИ». 

2. С помощью формул, описывающих работу математического нейро- 
на, убедитесь, что нарисованный вами персептрон действительно 
моделирует функцию «Исключающее ИЛИ». 

3. Попробуйте изобразить другой персептрон (другой структуры), то- 
же способный моделировать логическую функцию «Исключающее 
ИЛИ». 

4. Почему не удается применять известные вам алгоритмы обучения 
(правила Хебба, дельта-правило, обобщенное дельта-правило) для 
обучения персептронов, моделирующих функцию «Исключающее 
ИЛИ»? 

5. Попытайтесь придумать алгоритм обучения персептрона, содержа- 
щего один скрытый слой. 


4.8. МНОГОСЛОЙНЫЙ ПЕРСЕПТРОН 
И АЛГОРИТМ ЕГО ОБУЧЕНИЯ 


Эффективный алгоритм обучения многослойных персептронов, от- 
крывший путь их широкому практическому применению, стал известен 
только в 1986 г. благодаря публикациям Д. Румельхарта, Г. Хилто- 
на и Р. Вильямса [103]. Идея этого алгоритма заключается в том, 
что ошибки нейронов выходного слоя 5; = а; — у; используются для 
вычисления ошибок нейронов, расположенных в скрытых слоях. Зна- 
чения ошибок как бы распространяются от выходного слоя нейронов 
вовнутрь сети от последующих нейронных слоев к предыдущим. От- 
сюда название метода: алгоритм обратного распространения ошибки 
(раск ргорағайоп). 
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7. 


Рис. 4.18. Профессор А. И. Галушкин — автор первых алгоритмов обучения 
многослойных нейронных сетей персептронного типа 


Интересно отметить, что алгоритм обучения многослойных ней- 
ронных сетей, как и многие другие выдающиеся научные открытия, на 
самом деле имеет несколько авторов. Так, впоследствии выяснилось, 
что алгоритм обратного распространения ошибки был предложен на 
один год ранее в работах А. Паркера и А. Ле- Кана, изданных неза- 
висимо одна от другой. Кроме того, оказалось, что еще в 1974 г. этот 
простой и изящный алгоритм был защищен И. Дж. Вербосом [106] 
в его докторской диссертации. Более того, идеи и алгоритмы обу- 
чения многослойных структур персептронного типа можно найти 
в еще более ранних публикациях советских ученых: А. И. Галушки- 
на (рис. 4.18), В. А. Ванюшина, Л. С. Зака, Б. П. Тюхова [4, 6—10], 
относящихся к 1970—1974 гг. Последнее обстоятельство позволяет сде- 
лать заключение о приоритете Советского Союза в этом воистину 
колоссальном научном открытии, которое вывело нейроинформатику 
из тупика и превратило ее в самую прикладную научную отрасль. 

Рассмотрим идею алгоритма обратного распространения ошибки, 
попытавшись обобщить дельта-правило на случай обучения двухслой- 
ного персептрона, имеющего № входов, / выходов и скрытый слой 
из / нейронов (рис. 4.19). На самом деле этот персептрон имеет три 
слоя, однако в литературе его называют двухслойным, поскольку ней- 
роны входного слоя имеют всего один вход, не имеют синаптических 
весов и не выполняют суммирования входных сигналов, а лишь пере- 
дают один-единственный входной сигнал нейронам следующего слоя. 

Алгоритм корректировки синаптических весов нейронов выходного 
слоя оставим таким же, как для однослойного персептрона (см. обоб- 
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Рис. 4.19. Двухслойный персептрон с № входами, / выходами и скрытым 
слоем из ./ нейронов 


щенное дельта-правило формулы (4.22)—(4.24)), заменив в них х; на у; 16 


6; = УКТ — у) (9; — Ур. (4,31) 


Синаптические веса нейронов скрытого слоя попытаемся корректи- 
ровать с помощью все тех же формул (4.22) —(4.24), в которых индекс 
і заменим на /, а индекс / заменим на индекс и: 


Ут(ЕН 1) = №, (2) + Ди; (4.32) 
Ли; = Поухи; (4.33) 
6; = у(1— у) (9; — у». (4.34) 


При использовании этих формул возникает вопрос о вычислении ней- 
ронной ошибки (4;—у;), которая для скрытого слоя неизвестна. Идея 
авторов рассматриваемого алгоритма состояла в том, чтобы в качестве 
этой ошибки использовать суммарные нейронные ошибки с выход- 
ного слоя, помноженные на силы соответствующих синаптических 
связей, т. е. 


Т 
(9 – уу) = У бору. (4.35) 
і=1 


0 Причины этой замены становятся понятными, если проследить пути прохож- 
дения сигналов, сравнивая рис. 4.12 и рис. 4.19: если в однослойном персептроне 
(рис. 4.12) на вход нейронов выходного слоя подавались входные сигналы ху, 
то в двухслойном персептроне (рис. 4.19) на вход нейронов выходного слоя 
подаются выходные сигналы нейронов с предыдушего (скрытого) слоя уу. 
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к-1 К т 1 
0)—0— О 
аа ГА Нұн 


Рис. 4.20. Многослойный персептрон 


Итак, для скрытого слоя окончательно имеем: 
Луп = Порхи; (4.36) 
1 


бу = 1 У) У бу. (4.37) 
і=1 

Воспользовавшись этой идеей, несложно расписать алгоритм обратного 
распространения ошибки для обучения персептрона, имеюшего про- 
извольное количество скрытых слоев. Однако прежде отметим, что мы 
будем использовать нейроны, имеющие сигмоидную активационную 
функцию (4.13) и выполняющие операцию суммирования по формуле 
(4.6). Согласно этой формуле, каждый 1-й нейрон вычисляет сумму 


Ј 
5; = У жуу, 
/=0 


в которой м; — вес дополнительного входа /-го нейрона, имитирующий 
его смещение ёЁ;, а хо = 1 — величина сигнала дополнительного входа. 

Алгоритм обратного распространения ошибки распишем для 
многослойного персептрона, имеющего входной слой А = 0, несколь- 
ко скрытых слоев А = 1, 2,..., К – 1 и выходной слой К = К (рис. 4.20). 

Нейроны входного слоя не выполняют математических преобразова- 
ний, а лишь передают входные сигналы нейронам первого слоя. Будем 
полагать, что каждый А-йЙ слой содержит Нұ нейронов. Таким образом, 
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персептрон имеет № = Но входов и М = Нк выходов. В алгоритме 
будем использовать следующие обозначения: і — порядковый номер 
нейрона А-го слоя; / — порядковый номер нейрона (А - 1)-го слоя; 
1 — порядковый номер нейрона (А+ 1)-го слоя (см. рис. 4.20, внизу). 

Шаг 1. Инициализация синаптических весов и смещений. 

В циклах по А=1, 2, ...„ К; і= 1, 2, ...„ Ну; ј = 0, 1, 2, ..., Не 
датчик случайных чисел присваивает синаптическим весам и смеще- 
НИЯМ и малые величины, например из интервала от —1 до 1. 


Шаг 2. Открытие цикла по а=1,2,...,О. Представление из 
обучающего множества примеров очередного входного вектора 
Ха = ©1,^х2, ...Ххм)а И соответствующего ему желаемого выходно- 
го вектора Ба = (41, 42, ...,Ам)а, где 4— номер примера в обучающем 
множестве. 

Шаг 3. Прямой проход. 

В циклах по А=1, 2,....К; і= 1, 2, ..., Н, вычисляются выход- 
ные сигналы і-го нейрона в А-м слое 

Нк—1 
у = р >, и (4.38) 
где у; Р хо = 1; У 0 у; = У К) _ выходные сигналы персеп- 


трона. 
Шаг 4. Обратный проход. 
В циклах по А =К,К-1....,1; 1=1,2,....Нь; /=0,1,2,..., Нр 
вычисляются синаптические веса на новой эпохе 
М +1) = м) Аи, (4.39) 
где 
Ли = ПОРУ, (4.40) 
причем для выходного слоя А = К согласно (4.30) 
0) = УК — Ура, — Уд, 


а для всех других скрытых слоев согласно (4.37) 


Нк+1 
Г к (К К+] К+] 
609 = уќ (1 — иа ) уб! ). 


Шаг 5. Закрытие цикла по д. 

Шаг 6. Повторение шагов 2—5 необходимое количество раз. 

Векторы обучающих примеров Х; и Ру на шаге 2 алгоритма обыч- 
но представляются последовательно от первого до последнего, т. е. 
4 = 1,2, ..., О, где О — общее количество примеров. Например, в слу- 
чае распознавания букв русского алфавита О = 33. После того как 
для каждого обучающего примера будут скорректированы весовые 
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коэффициенты персептрона, т.е. шаги 2—4 будут повторены 33 ра- 
за, на шаге 6 алгоритма вычисляется среднеквадратичная ошибка, 
усредненная по всем обучающим примерам: 


ом 
= и.» (4-5). (4.41) 


4=1 і=1 


Помимо среднеквадратичной ошибки, может быть также оценена мак- 
симальная разность между желаемым и прогнозным (то, что вычислил 
персептрон) выходами персептрона: 


= = тах (0а: у), ); і=1,2,..., М; 4=1, 2, ..., О. (4.42) 


Итерационный процесс, задаваемый шагом 6, заканчивается после 
того, как ошибка &, вычисляемая по формулам (4.40) или (4.42), до- 
стигнет заданной величины либо когда будет достигнуто предельное 
количество эпох обучения. В результате персептрон обучится выпол- 
нять нужное отображение любого входного вектора Х. на выходной 
вектор Ү,, отличающийся от желаемого вектора В. на некоторую 
малую величину. 

Теперь представим, что на входное табло фотоэлементов попа- 
ла карточка с какой-либо буквой, выполненной другим шрифтом. 
Фотоэлементы сформируют входной вектор Х, не совпадающий ни 
с одним из векторов множества обучающих примеров. Если шрифт, 
которым выполнена входная буква, не слишком отличается от шрифта 
примеров обучающего множества, а персептрон хорошо спроектиро- 
ван и обучен, то он вычислит вектор У, в котором выход нейрона, 
соответствующего представленной на вход букве, будет иметь макси- 
мальное значение. Таким образом, персептрон, несмотря на помехи 
и искажения входного образа, выдаст правильное заключение о его 
принадлежности к тому или иному классу. Свойство персептрона 
«узнавать» образы, которых не было во множестве обучающих при- 
меров, называется свойством обобщения. Как уже было отмечено 
ранее, это свойство, которое персептрон унаследовал от своего про- 
тотипа — мозга, имеет очень важное значение для его практических 
приложений. 

Подведем итоги изучения алгоритмов обучения нейронных сетей. 

Первым алгоритмом были правила Хебба, предназначенные для 
обучения однослойного персептрона с нейронами, имеющими сту- 
пенчатые активационные функции. Затем было введено понятие ней- 
ронной ошибки как разницы между требуемым выходом нейрона 4; 
и его реальным значением у;. В результате алгоритм обучения пер- 
септрона с помощью правил Хебба был обобщен в виде алгоритма 
дельта-правила. В итерационных формулах алгоритма дельта-правила 
появился коэффициент скорости обучения 7, позволяющий влиять на 
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величину итерационного шага. Затем была предложена сигмоидная 
активационная функция и было введено понятие квадратичной ошиб- 
ки обучения персептрона. В результате появилось обобщенное дельта- 
правило, реализующее метод градиентного спуска и позволяющее ра- 
ботать не только с бинарными, но и с непрерывными сигналами. 
Алгоритм обратного распространения ошибки является следующим 
обобщением обобщенного дельта-правила и позволяет обучать не 
только однослойные, но и многослойные персептроны. 


Контрольные вопросы и задания к 8 4.8 


1. 


2. 


Объясните, в чем состоит идея алгоритма обратного распростра- 
нения ошибки. Отражает ли название алгоритма его идею? 
Какую роль в методе обратного распространения ошибки выполняет 
коэффициент скорости обучения 1? 

Попробуйте запрограммировать алгоритм обратного распростране- 
ния ошибки на каком-либо алгоритмическом языке. 

Сколько алгоритмов обучения нейронных сетей вам известно? На- 
зовите их и охарактеризуйте их возможности. 

Годится ли алгоритм обратного распространения ошибки для обу- 
чения персептрона со ступенчатыми активационными функциями? 
Годятся ли правила Хебба для обучения персептрона с нейронами, 
имеющими сигмоидные функции активации? 

Годится ли дельта-правило для обучения персептрона с нейронами, 
имеющими сигмоидные функции активации? 

Назовите преимущества и недостатки алгоритма обратного рас- 
пространения ошибки по сравнению со всеми изученными ранее 
методами обучения нейронных сетей. 

Зайдите на сайт уүүу.Ї1ЉАі.ги и выполните лабораторную рабо- 
ту № 5 — обучите персептрон моделировать функции «И», «ИЛИ», 
«Исключающее ИЛИ». В случае затруднений или заинтересован- 
ности обратитесь к учебно-методическим пособиям [73, 88]. 


Глава 5 


ВОЗМОЖНОСТИ И СФЕРЫ 
ПРИМЕНЕНИЯ НЕЙРОННЫХ СЕТЕЙ 


5.1. ВОЗМОЖНОСТИ ИНТЕЛЛЕКТУАЛЬНОГО 
АНАЛИЗА ДАННЫХ 


С появлением алгоритма обратного распространения ошибки начался 
период широкого практического применения нейросетевых технологий 
для решения самых разнообразных задач. С помощью многослойно- 
го персептрона стало возможным строить математические модели, 
выполняющие сложные многомерные отображения входного вектора 
параметров Х на выходной вектор У. 

Задачи подобного рода часто встречаются в самых разнообразных, 
казалось бы, не имеющих ничего общего областях, таких как про- 
мышленность, экономика, бизнес, финансы, политология, социология, 
психология, экология, медицина и т. д. 

Практически в каждой проблеме, решаемой прикладными науками, 
требуется строить модели явлений, процессов, объектов, т.е. выявлять 
и математически описывать зависимости одних комплексов параметров 
от других. Требуется строить математические функции, которые можно 
использовать для более глубокого анализа моделируемых объектов, 
например найти оптимальное сочетание управляющих параметров, 
обеспечивающих максимум некоторой целевой функции, такой как 
рентабельность, прибыльность, прочность, температура, скорость, 
высота и т.д. Или выполнить прогнозирование, т.е. предсказать, 
как будут развиваться события в зависимости от того или иного 
воздействия на моделируемый объект, и как повлиять на эти события 
путем выбора нужного воздействия. 

При обучении в вузе, да и просто в жизни вы не раз сталкивались 
с методом математического моделирования и наверняка оценили его 
эффективность. Например, в школе вы решали задачу о движении 
тела, брошенного под углом к горизонту. Имея математическую модель 
этого явления — уравнения, связывающие угол бросания, начальную 
скорость, высоту подъема и дальность полета, исследуя эту матема- 
тическую модель, решая уравнения, просчитывая разные варианты 
выбора исходных параметров, вы легко определили оптимальный угол 
бросания, обеспечивающий максимальную дальность полета тела. Для 
этого вам не надо было ставить никаких натурных экспериментов, не 
потребовалось выходить во двор и бросать камни. 
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Говоря о важности метода математического моделирования в нашей 
жизни, отметим, что в настоящее время он является одним из 
самых эффективных методов получения научных знаний. Мето- 
дом математического моделирования рассчитываются, проектируются, 
оптимизируются новые инженерные и строительные конструкции, 
делается прогноз погоды, предсказываются стихийные бедствия, 
выполняются экономические прогнозы, на основе которых строится 
экономическая политика отдельных фирм и целых государств. 

Новые научные знания, полученные методом математического 
моделирования, не раз оказывали решающее влияние на форми- 
рование нашей цивилизации. Несколько таких примеров приведены 
в книге [68]. 

1. Оптимизация формы крыла самолета методом математического 
моделирования, выполненная Н. Е. Жуковским, С. А. Чаплыгиным 
и их учениками, положила начало успешного развития авиации. 

2. Изобретение артиллерийских снарядов кумулятивного действия 
и противотанковой гранаты, спроектированных методом математи- 
ческого моделирования академиком М. А. Лаврентьевым с ученика- 
ми [32], способствовало перелому в ходе Второй мировой войны. 

3. Успехи в развитии методов решения краевых задач и мате- 
матическое моделирование напряженно-деформированного состояния 
ракетных двигателей [77] способствовали достижению опережающих 
темпов освоения космического пространства Советским Союзом 
в 1960-х и начале 1970-х гг. 

4. Благодаря методу математического моделирования было открыто 
явление ядерной зимы — глобальное понижение температуры поверх- 
ности планеты, вызванное массовыми ядерными взрывами. Никто 
и никогда это явление в действительности не наблюдал. Оно было 
открыто [1, 99] на экране компьютера в результате вычислительных 
экспериментов над математическими компьютерными моделями. И это 
открытие радикальным образом повлияло на государственную политику 
великих держав. Стало ясно, что победителей в ядерной войне не будет. 
Бессмысленная гонка вооружений была прекращена. Глобальный мир 
на планете был сохранен. 

До появления нейронных сетей и нейрокомпьютеров математи- 
ческие модели традиционно строились на основе фундаментальных 
законов природы, таких как законы сохранения массы, энергии, 
количества движения и др. Эти законы записывались в виде ал- 
гебраических либо дифференциальных и интегральных уравнений, 
к которым добавлялись уравнения, отражающие закономерности кон- 
кретных предметных областей. Для получения результата приходилось 
разрабатывать и применять алгоритмы совместного решения всех 
этих уравнений, составляющих математическую модель исследуемой 
предметной области. 
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Нейроинформационные технологии открыли иной подход к самой 
методике построения компьютерных математических моделей. Теперь, 
не задумываясь над законами физики, химии, биологии, медицины, 
общественного развития и т.д., исходя из одного только эмпирического 
опыта, представленного обучающими примерами, можно строить 
компьютерные математические модели, которые сами извлекают эти 
законы и позволяют их эффективно использовать для решения 
широкого круга практических задач. Появился новый инструмент 
извлечения знаний из данных, позволяющий заново открывать фунда- 
ментальные законы природы, выявлять ранее неизвестные зависимости 
и использовать их для решения конкретных практических задач. 
Нейронные сети стали одним из наиболее эффективных инструментов 
интеллектуального анализа данных. 

Особенно эффективен этот новый инструмент оказался при постро- 
ении математических моделей и интеллектуального анализа данных 
плохо формализуемых предметных областей, таких как, например, 
медицина. 


5.2. ДИАГНОСТИКА ЗАБОЛЕВАНИЙ ЧЕЛОВЕКА 


Первые попытки создания нейросетевых медицинских диагностических 
систем относятся к 40—50 гг. ХХ в., т.е. сразу после появления 
основополагающих работ У. Мак-Калока, У. Питтса, Ф. Розенблатта, 
заложивших теоретический фундамент нейросетевых и нейрокомпью- 
терных технологий. Однако практическое применение такие системы 
начали находить только в 1980—1990 гг. В настоящее время в средствах 
информации и научной литературе имеется множество сообщений 
об удачном опыте применения нейронных сетей для постановки 
диагнозов заболеваний в различных областях медицины. Рассмотрим, 
как строятся и обучаются такие сети. 

Проведем наблюдение за тем, как врач ставит диагноз болезни 
пациента. Прежде всего он выясняет и записывает имя, возраст, 
пол, место работы, затем, как правило, измеряет давление, проводит 
внешний осмотр, выслушивает жалобы больного, знакомится с исто- 
рией его болезни, результатами анализов, данными рентгенографии, 
изучает электрокардиограмму. В результате у врача накапливается от 20 
до 100 и более параметров, характеризующих пациента и состояние 
его здоровья. Это и есть исходные параметры, обработав которые 
с помощью своих медицинских знаний и опыта, врач делает заключение 
о заболевании пациента — ставит диагноз заболевания. 

Задавшись целью построить нейросетевую математическую модель 
врача, мы прежде всего должны определиться с входным вектором Х 
и выходным вектором Р, задав их размерности, и условиться о со- 
держимом каждого компонента. В векторе Х логично предусмотреть 
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параметры, которые врач выясняет у больного. Например, в качестве 
компоненты ху можно задать дату рождения, в качестве х› — закодиро- 
вать пол (например, с помощью нуля и единицы), в качестве хз — вес 
больного, х4 — артериальное давление, х5 — температуру тела и т. д. 
Нелишне учесть также цвет глаз, цвет волос и другие данные, 
определяющие особенности организма и, следовательно, влияющие 
на вероятность возникновения тех или иных заболеваний. 

В выходном векторе ЮР следует закодировать все возможные 
диагнозы заболеваний, которые способен обнаружить врач. 

Размерность вектора В можно существенно снизить, если модели- 
ровать врача, специализирующегося в узкой области медицины. Так, 
если мы выбрали врача-кардиолога, то в векторе Р следует кодировать 
только заболевания сердечно-сосудистой системы. Например, можно 
принять 4 = 1, если у больного инфаркт, и 4; = 0, если инфаркта нет. 
Аналогично с помощью 42 можно закодировать наличие или отсутствие 
ишемической болезни сердца (ИБС),..., 4м — стенокардии. 

Таким образом, выходной вектор персептрона Р будет состоять 
из множества нулей и одной или нескольких единиц (если болезней 
несколько). Однако, как показывает опыт [69, 108], медицинские 
диагнозы лучше кодировать по пяти-, десяти- или стобалльной 
шкале. Тогда на этапе подготовки обучающего множества примеров 
с помощью баллов можно будет учитывать степень уверенности врача 
в правильности его диагноза (или степень развитости заболевания). 
Например, если выходные параметры имеют значения: 4 = 0, 4 = 100 
и Ам = 75, то это означает, что, по мнению врача, у пациента 
нет инфаркта миокарда, есть ишемическая болезнь сердца, и есть 
стенокардия, однако в последнем диагнозе он уверен не на все 100%, 
а только на 75% (или степень развитости оценивается в 75%). 

Далее следует подготовить множество обучающих примеров. Мы 
воздержимся от советов по организации совместного труда врача 
и программиста, в результате которого будет создано необходимое 
количество обучающих примеров. Отметим только, что качество нейро- 
сетевой диагностической системы напрямую зависит от квалификации 
практикующего врача, на примерах работы которого она обучалась. 
Дело в том, что нейронная сеть наследует от врача не только его 
знания, но и пробелы в его медицинском образовании. Понятно, что 
она будет допускать те же врачебные ошибки, которые допускает врач. 
Поэтому для обеспечения высокого качества диагностики нейронную 
сеть следует обучать на примерах работы высококвалифицированного 
врача или даже на результатах работы врачебного консилиума. А если 
к работе по обучению нейронной сети привлечь еще и патолого- 
анатома, исключающего ошибки врачебной диагностики, то будут 
все основания надеяться, что обученная таким способом нейронная 
сеть по качеству выставляемых диагнозов превзойдет врачей-людей. 
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В этом случае нейронная сеть может обнаружить и заложить в модель 
такие закономерности человеческого организма, которые современной 
медицине вообще неизвестны. 

Отметим также, что при создании множества обучающих примеров 
может использоваться метод анкетирования: врач, выслушивая жалобы 
пациента, предварительно заполняет анкету, а программисты на 
основании анкетных данных формируют обучающие векторы Ха и Ра. 

Параметры входного вектора Ха могут поступать с какого-либо 
медицинского измерительного прибора: маммографа, электрокардио- 
графа, импедансометра и др. Может также применяться смешанный 
способ сбора исходных данных: часть параметров поступают с меди- 
цинских приборов, а часть — с анкет. 

В результате совместной работы коллектива специалистов-медиков 
и программистов будет накоплено множество обучающих примеров, 
состоящее из множества пар векторов Ха и ВБ. (94 = 1,2, ..., О). 
Теперь задача состоит в том, чтобы спроектировать персептрон и путем 
обучения передать ему знания и опыт, содержащиеся во множестве 
обучающих примеров. Вопросы проектирования персептронов, т. е. 
подбора количества скрытых слоев, количества содержащихся в них 
нейронов и типов активационных функций, рассматриваются далее 
в гл. 6, поэтому сейчас мы этим заниматься не будем (рис. 5.1). 

В результате персептрон должен научиться отображать любой 
вектор обучающего множества Х. на вектор Уд, совпадающий 
(либо почти совпадающий) с вектором Р.. Кроме того, при 
появлении нового пациента, характеризующегося новым входным 
вектором Хо+1, персептрон должен вычислить для него новый вектор 


у; (Стенокардия) 


Рис. 5.1. Принципиальная схема нейросетевой системы медицинской 
диагностики 
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Уо+1, содержащий правильный диагноз, поставленный персептроном 
уже без помощи врача. Другими словами, персептрон должен уметь 
обобщать переданный ему опыт на новые, не встречавшиеся ранее 
примеры предметной области, — ставить диагнозы заболеваний новым, 
не встречавшимся ранее пациентам. 

После того как будет установлена адекватность нейросетевой ма- 
тематической модели и рассматриваемой предметной области, т. е. 
появится уверенность, что персептрон правильно ставит диагнозы па- 
циентам, в том числе новым, которых в обучающем множестве не 
было, можно проводить исследования предметной области путем вы- 
полнения экспериментов над нейросетевой математической моделью. 
Например, поставив с помощью персептрона какому-либо пациенту 
диагноз, можно попробовать поварьировать его входные параметры. 
Так, увеличив возраст пациента на 5 или 10 лет и введя его в качестве 
входного параметра персептрона, можно спрогнозировать, как будут 
развиваться его заболевания в будущем. Можно попытаться улучшить 
прогнозные диагнозы пациента путем изменения некоторых входных 
параметров, например смоделировать изменение образа жизни паци- 
ента: отказаться от злоупотреблений кофе, курением, наркотиками, 
изменить диету, заняться спортом, сбросить вес, понизить с помощью 
лекарственных препаратов артериальное давление и т. д. В результате 
наблюдения за соответствующими изменениями-откликами выходного 
вектора можно выполнить прогнозирование состояния здоровья паци- 
ента в зависимости от изменяемых входных параметров и разработать 
на основании этих прогнозов полезные рекомендации: оптимальный 
образ жизни и оптимальный курс лечения больного. 

Один из интересных примеров подобного рода исследований выпол- 
нен пермскими учеными [69, 108, 109]. Нейросетевая математическая 
модель позволила на количественном уровне исследовать известный 
в медицине факт влияния употребления алкоголя на склонность к за- 
болеваниям сердечно-сосудистой системы. Оказалось, что этот эффект 
зависит от таких параметров пациента, как рост, индекс массы, воз- 
раст, пол, курение, занятия спортом и др., и в каждом конкретном 
случае он может проявляться не только с отрицательным, но и с по- 
ложительным результатом. 

То же самое выяснилось с соблюдением гипохолестериновой диеты, 
употреблением кофе, занятиями физической культурой, снижением 
веса, умственных и физических нагрузок и пр. Оказалось, что заключе- 
ние о пользе или вреде подобных рекомендаций зависит от сочетания 
большого комплекса входных параметров системы, характеризующих 
конкретного пациента и его состояние здоровья. 

Надо отметить, что обнаруженные в [108, 109] с помощью нейро- 
сетевой диагностико-прогностической системы закономерности не со- 
гласуются со сложившейся в современной медицине практикой давать 
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одни и те же рекомендации всем без исключения кардиологическим 
больным: соблюдать гипохолестериновую диету, отказаться от «вред- 
ных привычек», ограничить употребление кофе, спиртных напитков, 
похудеть, ограничить умственную и физическую нагрузку и т.д. Ком- 
пьютерные эксперименты показали, что данная медицинская практика 
нуждается в пересмотре). Эти рекомендации действительно полез- 
ны, но только не для всех, а для большинства больных. Результаты 
нейросетевого моделирования показали, что указанные рекомендации 
для некоторых больных, количество которых составляет от 3 до 15%, 
не только не полезны, но и могут причинить вред. Выявить таких 
людей позволяют нейросетевые диагностико-прогностичекие систе- 
мы [108, 109], способные анализировать сотни параметров пациента. 

Таким образом, мы можем констатировать факт, имеющий важ- 
ное методологическое значение: нейросетевая система, обученная на 
реальном медицинском опыте (без привлечения традиционных ака- 
демических медицинских знаний), смогла выявить закономерности, 
неизвестные медицинской науке. Эти новые закономерности можно 
учитывать в медицинской практике для оптимизации образа жизни 
и лечения больных. 

Обратиться к разработке пермских ученых — интеллектуальной ди- 
агностико-прогностической системе, проверить состояние здоровья 
и выполнить прогнозы развития обнаруженных заболеваний сердеч- 
но-сосудистой системы, а затем постараться улучшить эти прогнозы 
за счет изменения образа и условий жизни можно из раздела «Проек- 
ты» сайта Пермского отделения Научного совета РАН по методологии 
искусственного интеллекта ууу. РегтАТ.ги. 

В заключение еще раз укажем причины, на основании которых 
можно ожидать, что искусственный нейросетевой врач превзойдет 
врача-человека. 

Во-первых, качество работы искусственного врача всегда стабиль- 
но и не зависит от его настроения и состояния здоровья. Во-вторых, 
и это главное, нейронная сеть способна извлекать и применять зна- 
ния, которые современной науке неизвестны. Врач обладает только 
теми знаниями, которые преподаются в медакадемиях и имеются 
в медицинской литературе. Нейронная же сеть извлекает знания из 
реального практического материала, который богаче теоретического. 

Поэтому есть основания ожидать, что, благодаря применению ме- 
тодов интеллектуального анализа данных, в будущем несовершенство 
современной медицины будет в значительной степени ликвидировано. 


0 Этот научный результат, полученный методом нейросетевого интеллектуаль- 
ного анализа данных, хотя вступает в некоторое противоречие с традиционными 
медицинскими представлениями, однако был признан научной общественно- 
стью, что подтверждается публикациями в авторитетных рецензируемых научных 
журналах медицинского профиля [108, 109]. 
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Есть основания ожидать, что применение нейросетевых технологий 
в медицине позволит по-иному подойти к проблеме получения новых 
медицинских знаний. 

Есть основания ожидать, что в недалеком будущем эффективным 
инструментом получения новых научных знаний в медицинской науке 
(и не только в ней) станут диагностико-прогностические системы, по- 
строенные на принципах работы нейронных сетей и нейрокомпьютеров. 


Контрольные вопросы и задания к 8 5.2 


1. Когда возник метод математического моделирования? 

2. Приведите примеры применения метода математического модели- 
рования. 

3. Чем отличается методика построения математических моделей на 
основе нейротехнологий от традиционной? 

4. Опишите, как бы вы стали формировать примеры для обучения 

персептрона ставить диагнозы заболеваний. 

Сколько ваш персептрон должен иметь входов и выходов? 

6. Как быть, если врач-эксперт не совсем уверен в правильности 
выставляемого им диагноза? 

7. Почему нейросетевой врач может превзойти обычного врача по 
качеству постановки диагнозов заболеваний? 

8. Откуда нейросетевой врач получает медицинские знания, и в каком 
виде он хранит их в своей памяти? 

9. Зайдите на сайт ууү.ІЉАі.ги и выполните лабораторные рабо- 
ты №6, 7— обучите персептрон ставить диагнозы заболеваний: 
«Пневмония», «Острое респираторное заболевание (ОРЗ)», «Здо- 
ров». В случае затруднений или заинтересованности обратитесь 
к учебно-методическим пособиям [73, 88]. 

10. Зайдите на сайт уүүүу.РегтАІ.ги в раздел «Проекты» и с помощью 
интеллектуальной прогностико-диагностической системы попро- 
буйте проверить состояние сердечно-сосудистой системы ваше, ва- 
шего отца, мамы, дедушки, бабушки, знакомых. Выполните прогноз 
его/ее состояния здоровья на ближайшие 2, 3, 4, 5 лет. Выясните, 
как следует изменить образ вашей жизни (сбросить или набрать 
вес, заняться спортом или лечебной физкультурой, отказаться от 
курения и алкоголя, следить за давлением и т. д.), а также жизни 
ваших родственников и знакомых, чтобы улучшить этот прогноз. 


л 


5.3. ДИАГНОСТИКА ТЕХНИЧЕСКИХ УСТРОЙСТВ 


Не касаясь разнообразных применений нейронных сетей для управ- 
ления промышленными роботами и технологическими процессами, 
рассмотрим важную техническую проблему диагностики неисправно- 
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стей сложных технических устройств. Считается, что эта проблема 
проще рассмотренной выше проблемы диагностики здоровья челове- 
ка. Действительно, если строить диагностическую систему методами 
традиционного математического моделирования, основанного на за- 
конах природы — физики, химии, биологии и др., то это утверждение 
справедливо. Дело в том, что для технического устройства, каким бы 
сложным оно ни было, всегда известно функциональное назначение 
любого сколь угодно мелкого узла, что нельзя сказать о человеке. 
Естественно, что это обстоятельство является серьезным препятствием, 
усложняющим построение адекватных математических моделей чело- 
века традиционными способами. Нейронная же сеть сама извлекает 
необходимые знания из обучающих примеров, сама устанавливает неиз- 
вестные законы и раскрывает функциональные связи между элементами 
исследуемого объекта. Поэтому в случае нейросетевого моделирова- 
ния нет принципиальной разницы между диагностикой заболеваний 
человека и диагностикой неисправностей технического устройства. 

Нейросетевой подход к решению задач медицинской диагности- 
ки, рассмотренный ранее, можно почти без изменений применить 
к решению проблемы диагностики неисправностей сложных техни- 
ческих устройств. Продемонстрируем это на примере диагностики 
неисправностей авиационных двигателей. 

Специалисты, занимающиеся этой проблемой, устанавливают дат- 
чики, измеряющие параметры работы авиадвигателей во время полетов. 
Файл данных полетного мониторинга обычно содержит такие пара- 
метры, как номер полета, дата полета, общая наработка двигателя, 
температура и давление воздуха на входе в двигатель, температура 
и давление газа за турбиной, температура лопаток, уровень и темпе- 
ратуру масла в маслоблоке и т. д. Число полетных параметров может 
достигать сотни и более, что, кстати, соизмеримо с числом параметров 
больного при постановке медицинского диагноза его заболевания. 

После выполнения определенного количества полетов (обычно по- 
рядка тысячи) двигатель снимают с самолета и подвергают стендовой 
разборке (рис. 5.2), во время которой выявляют и устраняют его де- 
фекты. Характерными дефектами авиадвигателей являются: трещина на 
сопловом агрегате, забоины, разрушение дефлектора, разрушение под- 
шипников, наличие стружки в масле (всего около 30 видов дефектов). 

Задача инженера-диагноста состоит в том, чтобы, используя данные 
мониторинга, выявить дефекты двигателя до его профилактической 
разборки. Традиционно эта задача решается с помощью методик, ос- 
нованных на физических закономерностях: каждый дефект вызывает 
определенные отклонения тех или иных полетных параметров работы 
двигателя, поэтому, анализируя характер их изменения, можно сделать 
предположения о появлении дефектов, вызывающих эти изменения. 
Понятно, что ввиду значительных объемов информации и сложно- 
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Рис. 5.2. После выполнения определенного количества полетов двигатель 
снимается с самолета и подвергается стендовой разборке 


сти существующих взаимосвязей между дефектами и измеренными 
параметрами задача анализа данных полетного мониторинга и выяв- 
ления дефектов авиадвигателей является далеко не тривиальной и, 
бывает, решается ненадежно и некачественно. В результате это при- 
водит либо к неоправданно ранней отправке двигателя в ремонт, либо 
к трагическим последствиям. 

Рассмотрим, как можно решать эту задачу с помощью нейросетевого 
моделирования. Прежде всего отметим, что во входном векторе пер- 
септрона Хследует предусмотреть места для всех параметров полетного 
мониторинга, на значения которых оказывают влияние выявляемые 
дефекты. Возможные дефекты авиадвигателя можно закодировать в вы- 
ходном векторе Р с помощью все тех же нулей и единиц. Векторы 
желаемых выходов РВ. составляются по результатам стендовых раз- 
борок двигателей. В отличие от медицинской диагностики здесь нет 
необходимости вводить многобалльную шкалу диагнозов, поскольку 
все диагнозы в обучающем множестве примеров имеют 100%-ю до- 
стоверность, т. е. ситуация аналогична случаю, когда диагноз болезни 
ставит патологоанатом при вскрытии тела пациента в морге. 

Кроме того, разумно предположить, что при первых вылетах нового 
или отремонтированного самолета его двигатель полностью исправен 
и дефектов нет, тогда как при последних вылетах двигатель уже имел 
те самые дефекты, которые выявились при его разборке. Поэтому 
из всего множества параметров полетного мониторинга ценность для 
обучения нейронной сети имеют параметры первого и последнего по- 
летов самолета. Таким образом, для каждого двигателя, побывавшего 
на разборке, формируется пара обучающих векторов Ха и Бу. 
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Рис. 5.3. Принципиальная схема нейросетевой системы диагностики авиа- 
ционного двигателя 


Если количество обучающих примеров будет достаточным, то пра- 
вильно спроектированный многослойный персептрон (рис. 5.3) обучит- 
ся надежно ставить диагнозы неисправностей авиационных двигателей, 
в том числе и тех, которые в обучающем множестве не участвовали. 
А если таким персептроном оборудовать бортовой компьютер самоле- 
та, то он будет сообщать о появлении дефекта двигателя в реальном 
времени, т.е. как только сложится соответствующая конфигурация 
вектора входных параметров — результатов измерений, снимаемых во 
время полета самолета. Естественно, что прежде, чем попасть в кабину 
пилотов, сигналы персептрона должны обрабатываться компьютером, 
вырабатывающим инструкции об адекватных действиях экипажа при 
создавшихся условиях. 

Укажем на еще одно преимущество нейросетевого метода диагно- 
стики перед традиционными диагностическими методами, основан- 
ными на явных знаниях. Лучше всего это сделать на примере случая, 
однажды происшедшего при выполнении проекта создания системы 
диагностики авиационных двигателей [30]. 

Прежде всего заметим, что специалисты, занимающиеся традицион- 
ными методами диагностики технических устройств, обычно пытаются 
учесть как можно больше взаимосвязей между значениями измеря- 
емых полетных параметров и появлением тех или иных дефектов 
двигателя. В сложных технических устройствах количество таких вза- 
имосвязей настолько велико, что построить полную математическую 
модель, абсолютно адекватную моделируемому устройству, традицион- 
ными методами математического моделирования практически невоз- 
можно. Кроме того, в сложных технических устройствах существуют 
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и такие взаимосвязи, о которых специалисты не знают. Так, в двига- 
телестроении известен дефект, называемый «стружка в масле» — при 
работе трущихся частей иногда образуется мелкая стружка, которая 
падает в поддон с маслом. Специалистам известно, что возникнове- 
ние этого дефекта не влияет ни на один из измеряемых датчиками 
параметров работы двигателя, вследствие чего не существует тради- 
ционных методик, способных выявлять этот дефект. Следовательно, 
и нейросеть, на вход которой подаются именно эти параметры дви- 
гателя, принципиально не должна ставить диагноз «стружка в масле». 
Но, как зафиксировано в работе [30], нейронная сеть этот диагноз 
ставила, и оказывалась права! 

Складывалось впечатление, что нейронная сеть принимает правиль- 
ные решения, используя информацию, недостаточную с точки зрения 
традиционной логики. В жизни это свойство мозга принято называть 
«интуицией» или «шестым чувством». В связи с этим в работе [63] 
было высказано мнение, что нейронная сеть, выполненная «по образу 
и подобию» мозга, унаследовала от него и это замечательное свой- 
ство человека Но после обсуждений и дискуссий со специалистами 
парадокс объяснили тем, что, по-видимому, не оказывая заметного 
влияния на каждый отдельно взятый параметр двигателя, появление 
стружки все-таки влияет на общую конфигурацию входного вектора, 
что и вызывает соответствующую реакцию нейронной сети. 

Впоследствии мы не раз наблюдали, как нейросети ставили правиль- 
ные диагнозы и выдавали подтвердившиеся затем прогнозы, объяснить 
которые в рамках традиционной логики было затруднительно, а термины 
«интуиция» и «шестое чувство нейронных сетей», введенные и проде- 
монстрированные в книге [63], стали употребляться многими авторами. 


Контрольные вопросы и задания к $ 5.3 


1. Опишите, как бы вы стали формировать примеры для обучения 
персептрона ставить диагнозы неисправностей автомобильного 
двигателя. 

2. Сколько ваш персептрон должен иметь входов и выходов? 

3. Может ли нейросетевая диагностическая система превзойти тра- 
диционную диагностическую систему, основанную на явных зна- 
ниях (экспертную систему) по качеству постановки диагнозов? 
Объясните почему. 

4. Откуда нейросетевая диагностическая система получает техниче- 
ские знания, и в каком виде она их хранит в памяти? 

5. Что понимается под термином «Интуиция нейронных сетей»? 


88 Глава 5. Возможности и сферы применения нейронных сетей 


5.4. ДИАГНОСТИКА ЭКОНОМИЧЕСКОГО СОСТОЯНИЯ 
ПРЕДПРИЯТИЙ 


Сегодня в мире существует множество различных методик прогнозиро- 
вания банкротств предприятий. В то же время, по мнению специалистов, 
единого общепринятого метода диагностики экономического состояния 
предприятий в настоящее время не существует. Кроме того, как отмеча- 
ют многие российские авторы, многочисленные попытки применения 
иностранных моделей прогнозирования банкротств в отечественных 
условиях не позволили получить достаточно точные результаты. 

Авторами работы [70] была предпринята попытка создания нейро- 
сетевой системы, оценивающей вероятность банкротства российских 
банков, основанной на закономерностях российской действительно- 
сти, отраженных в финансовой отчетности ЦБ РФ. В качестве входных 
параметров нейросетевой математической модели были выбраны: до- 
статочность собственных средств; коэффициент мгновенной ликвидно- 
сти; коэффициент текущей ликвидности; коэффициент долгосрочной 
ликвидности; рентабельность активов; город, в котором расположен 
банк; правовая форма; размер уставного капитала; размер активов; по- 
казатель использования собственных средств для приобретения акций 
других юридических лиц и др., всего 15 параметров. Выходная пере- 
менная у принимает значение, равное «единице», если у банка была 
отозвана лицензия, и значение «нуль», если банк продолжает свою 
деятельность. Было сформировано множество, содержащее 111 при- 
меров, из которых 52 примера являются данными обанкротившихся 
банков, 59 примеров относятся к работающим банкам. Все множе- 
ство примеров разбито на обучающее, использованное для обучения 
сети, и тестирующее, предназначенное для проверки ее прогности- 
ческих свойств. Естественно, что примеры тестирующего множества 
при обучении сети не использовались. 

Оптимальная структура нейронной сети представляла собой пер- 
септрон, имеющий 15 входных нейронов, один скрытый слой с пятью 
нейронами и один выходной нейрон. В качестве активационных функ- 
ций нейронов скрытого слоя и выходного нейрона использовались 
сигмоидные функции. 

После обучения прогностические свойства сети проверялись на 
тестирующих примерах. Изначально среднеквадратичная ошибка те- 
стирования нейронной сети составила 13,5%, поэтому из множества 
примеров вручную были удалены банки-банкроты, причиной отзыва 
лицензий которых была некорректно составленная финансовая от- 
четность. Дело в том, что эти причины не являются объективными, 
а потому данные о таких банках выпадают из общих статистических за- 
кономерностей. После удаления подобных данных среднеквадратичная 
ошибка тестирования составила 6,3%. 
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Затем в процессе обучения и тестирования нейросети были об- 
наружены выбросы, выявленные с помощью методики (см. $ 6.5, 
а также [57]). В число выбросов, обнаруженных с помощью этой ме- 
тодики, попали данные о двух банках: «Сембанк» и «Анкор-банк». 
Данные о первом банке были квалифицированы нейронной сетью как 
выброс, по-видимому, в связи с тем, что у него была отозвана лицензия, 
хотя банк имел хорошие показатели достаточности капитала и коэффи- 
циенты ликвидности. Второй банк, наоборот, не подвергся санкциям 
ЦБ РФ, хотя имел довольно низкие показатели достаточности капитала 
и самый маленький размер уставного капитала из всей выборки. 

После удаления обнаруженных нейросетью выбросов и обучения 
сети среднеквадратичная ошибка тестирования (обобщения) снизилась 
с 6,3% до 2,6%. 

Исследование нейросетевой математической модели выполнялось 
путем проведения виртуальных компьютерных экспериментов. В ходе 
этих экспериментов вычисления с помощью нейронной сети выпол- 
нялись при изменении одного из входных параметров, а остальные 
параметры «замораживались», т.е. сохранялись неизменными. В про- 
цессе исследования нейросетевой модели решались задачи выявления 
закономерностей рассматриваемой предметной области — банковской 
системы России. Мы пользовались тем, что обученная нейросетевая 
модель реагирует на изменение входных параметров и ведет себя так 
же, как вела бы себя сама предметная область. 

Рассматривались характеристики двух банков, первый из которых 
изначально классифицировался как банкрот, а второй банк — как не 
банкрот. Банки существенно отличаются показателем использования 
собственных средств для приобретения акций других юридических 
лиц, рентабельностью активов и размером уставного капитала. Как 
видно из рис. 5.4, на котором приведены результаты вычислительных 
экспериментов, на вероятность признания банка банкротом существен- 
но влияет коэффициент долгосрочной ликвидности, причем кривые 
имеют О-образную форму. Повышение коэффициента долгосрочной 
ликвидности до определенного уровня оказывает положительное вли- 
яние на деятельность банка, вероятность банкротства уменьшается. 
Однако с определенного момента при дальнейшем повышении данно- 
го показателя вероятность банкротства увеличивается. Оптимальным 
показателем долгосрочной ликвидности для изначально надежного рас- 
сматриваемого банка оказалось значение 40, а для банка банкрота — 50. 

Дальнейшие вычислительные эксперименты показали, что на эко- 
номическое состояние банков заметное влияние оказывают и другие 
параметры, например их организационно-правовая форма, место рас- 
положения и др. Однако влияние отдельно взятых параметров неодно- 
значно и в каждом конкретном случае может проявляться по-разному, 
в зависимости от множества других параметров, характеризующих банк. 
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Рис. 5.4. Влияние коэффициента долгосрочной ликвидности на вероятность 
признания банка банкротом. Маркером увеличенного размера отмечено ре- 
альное состояние исследуемых банков 


Интеллектуальная система прогнозирования вероятности банкрот- 
ства российских банков может быть использована для оценки рисков 
межбанковских кредитов как методика проведения внутреннего аудита, 
а также для поддержки принятия решений, направленных на совер- 
шенствование деятельности банков. Воспользоваться системой можно 
из раздела «Проекты» сайта уүүүүу.РегтАІ.ги. 


5.5. УПРАВЛЕНИЕ КИБЕРНЕТИЧЕСКИМ ОБЪЕКТОМ 


Нейросеть, используемую для управления поведением робота, искус- 
ственного спутника Земли, беспилотного самолета, какого-либо ки- 
бернетического объекта или персонажа компьютерной игры, называют 
нейроконтроллером. Управляемый объект находится в окружающей 
среде, которая постоянно изменяется. Заранее предусмотреть все воз- 
можные ситуации невозможно. Идея применения нейросети состоит 
в том, чтобы обучить ее на конечном числе ситуаций, а затем предоста- 
вить нейросети возможность самостоятельно реагировать на ситуации, 
которых в обучающем множестве примеров не было. 

Допустим, речь идет о компьютерной игре, в которой персонаж, 
в зависимости от ситуации, может предпринять одно из четырех 
действий: 

1) атаковать; 

2) передвигаться; 

3) прятаться; 

4) убегать. 

Выбор действия зависит от того, сколько врагов видит персонаж, 
насколько хорошо он вооружен и какое у него здоровье в дан- 
ный момент. В табл. 5.1 приведено множество обучающих примеров: 
в первом столбце (хі) помещена информация о количестве врагов, 


5.6. Прогнозирование политических событий 91 


Таблица 5.1 
Множество обучающих примеров действий персонажа компьютерной 
игры 


Кол-во | Персонаж Персонаж Здоровье Действие 
врагов | имеет нож | имеет пистолет | персонажа персонажа 


(х1) (х2) (хз) (ха) (4) 


роет [2 баравинитьея. 
О ПО ОО ПО ИИ МИ 
оо т [406 


о | о |3 прятаться) 
ро Пора 
рт Пою | 
т [о о норслвитатис) | 


во втором и третьем (х› и хз) — информация о вооружении персона- 
жа, в четвертом (х4)— информация о его здоровье (0 — плохое, 1 — 
удовлетворительное, 2 — хорошее) и в пятом (4) — действие, которое 
следует предпринять персонажу. 

Персептрон, снабженный четырьмя входными и одним выходным 
нейронами и обученный на примерах табл. 5.1, способен генериро- 
вать вполне адекватные рекомендации о действиях персонажа, причем 
он «не теряется» и в таких непредвиденных ситуациях, которых во 
множестве обучающих примеров не было. 

Еще раз обратим внимание, что в качестве управляемого мо- 
жет быть любой кибернетический объект, например искусственный 
спутник Земли, баллистическая ракета, самолет-беспилотник, глубо- 
ководный аппарат, который управляется автономно или с которым 
периодически теряется связь и который вследствие этого сам должен 
принимать решения о своем дальнейшем поведении 


5.6. ПРОГНОЗИРОВАНИЕ ПОЛИТИЧЕСКИХ СОБЫТИЙ 


Вероятность наступления того или иного политического события за- 
висит от многих факторов. Например, результаты выборов президента 
страны зависят от экономической и политической обстановки в ми- 
ре, активности средств массовой информации, активности и степени 
политизированности самих избирателей, взаимоотношений и полити- 
ческих ходов партий, качества предвыборной компании, фальсифи- 
каций и многого другого. Учесть и правильно оценить влияние всех 
этих факторов на исход выборов чрезвычайно сложно. Но есть и такие 
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факторы, которые определяются только самой личностью претендента 
в президенты. Это его возраст, пол, семейное положение, количество 
детей, род занятий, социальная принадлежность и др. Можно ли при 
построении прогностической программы ограничиться учетом только 
этих личностных характеристик претендента? 

Одна из интереснейших попыток интеллектуального анализа дан- 
ных с целью ответа на этот вопрос была предпринята студентами 
пермских университетов и описана в работах [71, 82, 89]. В экспери- 
ментах использовалась нейронная сеть с пятью входами: ху — возраст 
претендента в президенты; х› —его происхождение (1 — из бедных, 
2 — средний класс, 3 — интеллигенция, 4 — из богатых); хз — семей- 
ное положение (1 — женат, 0 — холост); хд — количество детей; х5 — 
основная область деятельности (1 — военная, 2 — политическая, 3 — об- 
щественная, 4 — экономическая). Сеть имела один выходной нейрон, 
выходной сигнал которого 4 мог принимать значение 1, означающий 
победу претендента на выборах и 0 — поражение. 

Множество примеров, взятых из истории президентских выборов 
США и Франции, было разбито на обучающее (табл. 5.2), использо- 
ванное для обучения сети, и тестируюшее (табл. 5.3), предназначенное 
для проверки ее прогностических свойств. Естественно, что примеры 
тестирующего множества при обучении сети не использовались. 

В таблице 5.3 в предпоследнем столбце 4 помещены желаемые 
выходы нейросети, т. е. те, которые имели место в истории США 
и Франции, а в последнем столбце — прогноз сети у, обученной на 
множестве примеров табл. 5.2. Как видно из табл. 5.3, нейросеть, хо- 
тя и с погрешностью, совершенно правильно «предсказала» победу 
Дж. Кеннеди, А. Линкольну и Д. Эйзенхауэру и поражение — М. Дука- 
кису и Дж. Макговерну. Это значит, что она смогла извлечь из весьма 
скромного обучающего множества некую скрытую закономерность 
и применить ее при тестовом прогнозировании. 

Невероятно, но факт! Получается, что рейтинг претендентов в пре- 
зиденты стран практически не зависит от политической конъюнктуры, 
лозунгов, обещаний, политических платформ. Получается, что ре- 
зультат голосований в первую очередь определяется неким удачным 
сочетанием его субъективных личностных характеристик, которое 
выявила нейронная сеть. 

Студентами пермских университетов была введена еще одна ма- 
лообоснованная гипотеза. Они приняли допущение, что менталитет 
россиян не отличается от менталитета французов и американцев и на 
предстоящих через полтора года выборах президента своей страны рос- 
сияне будут отдавать голоса, руководствуясь аналогичными критериями. 

Собрав необходимые личностные данные на возможных российских 
претендентов (табл. 5.4) и применив к ним обученную на француз- 
ском и американском опытах нейросеть, пермские студенты выполнили 
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Таблииа 5.2 
Обучающее множество примеров президентских выборов в США 


и Франции 


Происхож- 
Семейное 
положение 
Деятель- 
поражение 


или 


а 


Д 
Д 


Кол-во 
> = ыы ыыы [ее = № — мы ыы 5 с 
детей 


ча за КЕКЕЧ < м а ем < мч лы | Возраст 
5 а < в $ ој | | | | 55| әј Но > ыыы | А | | р. 


прогноз президентских выборов в России на 2008 г. (см. последний 
столбец табл. 5.4). 

На рисунке 5.5 эти прогнозы представлены в виде гистограммы. 
Если полученные в результате прогноза цифры рассматривать как 
сравнительный рейтинг претендентов, то можно заключить, что наи- 
большие шансы стать президентом России нейронная сеть отдала 
Д. А. Медведеву, а наименьшие — Ю. П. Трутневу. Рейтинги осталь- 
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Таблица 5.3 
Тестирующее множество примеров президентских выборов 


Происхож- 
Семейное 
положение 
Деятель- 


Таблииа 5.4 
Личностные характеристики возможных претендентов на пост прези- 
дента России и прогноз результатов выборов на 2008 г. 


Возможные 
претенденты 


Происхож- 
Семейное 
Деятель- 


И 
Г 


Б. В. Грызлов 
Г. А. Зюганов 
В 


Ю. П. Трутнев 


ных претендентов, занимая промежуточное положение, различаются 
между собой незначительно. 

Еще раз обратим внимание, что данный прогноз выполнен и опуб- 
ликован в книге [71] в начале 2007 г., т.е. более чем за год до выборов 
Президента России, состоявшихся в 2008 г. Политическая обстановка 
в то время складывалась так, что о преподавателе вуза, политиче- 
ском и общественном деятеле Дмитрии Медведеве вообще мало кто 
слышал. Поэтому данные нейросетевого прогнозирования хотя и бы- 
ли опубликованы, однако с комментариями, что к этому прогнозу 
«не стоит относиться серьезно», так как «прогноз выполнен в пред- 
положении, что избирательские менталитеты французов, американцев 
и россиян совпадают, что, по-видимому, неверно. Такой рейтинг был 
бы у претендентов на пост президента не в России, а в Америке или 
во Франции». 
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Рис. 5.5. Прогноз президентских выборов в России на 2008 г., выполнен- 
ный студентами пермских университетов в начале 2007 г. [71] 


1— Д. А. Медведев; 2 — Д. О. Рогозин; 3 — Г. А. Зюганов; 4 — Б. В. Грызлов; 5 — 
С. Б. Иванов; 6 — В. В. Жириновский; 7 — Ю. П. Трутнев 


Впоследствии Д. А. Медведев действительно победил на выборах 
2008 г. и стал президентом России. Как видим, мы напрасно сомне- 
вались в результатах нейросетевого прогнозирования. Нейронная сеть 
оказалась права. Прогноз результатов президентских выборов, выпол- 
ненный студентами пермских университетов, подтвердился, что можно 
считать серьезным успехом метода интеллектуального анализа данных 
на основе нейросетевого математического моделирования. 

Методы нейросетевого моделирования позволяют не только пред- 
сказывать будущие события, но и исследовать их, ставить над ними 
виртуальные эксперименты. Изменяя входные параметрами обученной 
нейронной сети и производя вычисления, можно получить ответы на 
многие вопросы, интересующие политтехнологов. Например, изменяя 
возраст политического деятеля и производя вычисления с помощью ней- 
росети, можно проследить, как будет меняться его рейтинг со временем, 
обнаружить пики его популярности среди избирателей и выбрать мо- 
мент, когда ему лучше всего уйти в отставку. Так, в работах [82] и [89], 
опубликованных в 2008 и 2010 гг., когда президент Д.А. Медведев был 
на вершине своей популярности, нейронные сети прогнозировали ему 
снижение рейтинга (рис. 5.6, а), тогда как другому политику — В. В. Жи- 
риновскому — прогнозные кривые предсказали постепенный рост по- 
пулярности (см. рис. 5.6,6), что и наблюдалось в последующие годы. 

Проводя целенаправленные исследования нейросетевой модели, 
можно разработать рекомендации, каким образом тому или иному 
политическому деятелю изменить свой рейтинг. На рисунке 5.7 при- 
ведены результаты моделирования различных возможных изменений 


96 Глава 5. Возможности и сферы применения нейронных сетей 


А 80 „ 60 
8 70 в 50 
ТЕ Е 
25 50 28 20 
ЕБ Е 5 
о 40 с 10 
; 3046 60 80 - "во 70 80 
Возраст, лет Возраст, лет 
а) 6) 


Рис. 5.6. Зависимость рейтинга Д. А. Медведева (а) и В. В. Жириновско- 
го (6) от их возраста. Прогноз опубликован в 2008 г [82], когда президент 
Д. А. Медведев был на вершине своей популярности 


в личной и политической жизни известного политического деятеля, 
кандидата в президенты России на выборах 2004 г. Ирины Хакамады. 

Как видно из гистограммы рис. 5.7, повторное участие в выборах уве- 
личит число голосующих «За» до 8,4% (2) (против исходных 3,5% (1)), 
а вот третья попытка стать президентом страны, наоборот, приведет 
к снижению количества голосов до 1,7% (3). Смена партии на «правя- 
шую» приведет к падению ее шансов до нуля (4). Если Ирина Хакамада 
сменит свою деятельность с экономической на спорт или культуру, 
то ее рейтинг увеличится до 8,5% голосов (5). Если она изберет во- 
енную карьеру, то это принесет ей 17,5% голосов (6), а если станет 
преемником президента страны, то за нее будут голосовать 67,4% из- 
бирателей (6). Если она разведется, то ее шансы победить на выборах 
упадут до нуля (6). Если сменит пол, то ее рейтинг повысится до 5,5% 
голосов (9). Если заведет еще одного ребенка, то рейтинг возрастет до 
9,6% голосов (10). Если она заведет двоих детей, то рейтинг повысит- 
ся до 16,5% (11), а если троих, то до 24,1% (12). Если И. М. Хакамаде 
удастся радикальным образом повысить свою популярность, то она 
имеет шансы получить 47,8% голосов российских избирателей (13). 

В заключение отметим, что, помимо прогнозирования президент- 
ских выборов, нейросетевые математические модели могут быть ис- 
пользованы для прогнозирования исходов любых видов голосований, 
например выборов ректора вуза, выборов в законодательные собрания 
областей и краев, в академики РАН и др. Они могут быть использова- 
ны для выявления перспективных кандидатов, а также для разработки 
рекомендаций по изменению их рейтингов. 

Итак, применение метода интеллектуального анализа данных на 
основе нейросетевого моделирования позволяет выявлять и анализи- 
ровать закономерности такого сложного политического явления, как 
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Процент 
голосующих «За» 


Рис. 5.7. Результаты моделирования влияния возможных изменений в лич- 
ной и политической жизни И. М. Хакамады на ее рейтинг 


1 — исходное состояние; 2 — второй раз участвовать в выборах; 3 — третий раз 

участвовать в выборах; 4 — сменить партию на «правящую»; 5 — сменить дея- 

тельность на спорт или культуру; б — сменить деятельность на военную; 7 — 

стать преемником президента; & — развестись; 9 — сменить пол на мужской; 

10 — завести еще одного ребенка; 77 — завести еще двоих детей; 1/2 — завести 
еще троих детей; 13 — радикально повысить свою популярность 


президентские выборы. Причем нейросетевые математические моде- 
ли предназначены не только для пассивного предсказания будущих 
событий — побед или поражений кандидатов. Исследуя эти модели 
и выявляя закономерности, можно научиться понимать, каким обра- 
зом следует оказывать влияние на эти будущие события, разворачивать 
их траекторию развития в нужном направлении, создавать благопри- 
ятную ситуацию для достижения своих целей. 


Контрольные вопросы и задания к 8 5.6 


1. Какая информация использовалась для создания обучающего 
множества примеров при построении программы, прогнозирую- 
щей результаты президентских выборов в России? 

2. Для чего нужно тестирующее множество примеров и чем оно 
отличается от обучающего множества примеров? 

3. Попробуйте создать программу, прогнозирующую результаты пре- 
зидентских выборов в России, используя в качестве обучающих 
примеров отечественный опыт. Постройте зависимость рейтинга 
президента от его возраста. Попробуйте сместить пик популяр- 
ности президента на более зрелый возраст за счет изменения 
его параметров. 

4. Каким образом можно использовать нейросеть для разработ- 
ки рекомендаций политическим деятелям по повышению их 
рейтинга? 
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5.7. ВЫЯВЛЕНИЕ СПОСОБНОСТИ ЧЕЛОВЕКА 
К БИЗНЕСУ 


В педагогической науке нейросети могут найти применение, напри- 
мер, при решении таких вопросов, как: какую профессию выбрать? 
куда пойти учиться? 

Начнем с выбора профессии. Кто из нас не решал эту проблему? От 
правильного выбора профессии зависит вся дальнейшая судьба человека. 

При выборе профессии очень важно понять и оценить возмож- 
ности своего организма, свои способности, найти именно ту нишу 
в жизни, ту область деятельности, где могут максимальным образом 
раскрыться способности человека, заложенные в него природой. 

В наше время многие молодые люди желают в будущем стать биз- 
несменами. Но ученые утверждают, что к предпринимательской дея- 
тельности в среднем способны не более 7—10% населения. И что ждет 
тех, кто выберет этот путь, не зная, что природа не отнесла его к этой 
золотой десятке процентов: банкротства? разорения? разочарования? 

История знает немало примеров [68], когда маститые ученые, 
авторы гениальных открытий, пытались внедрять свои открытия, ор- 
ганизовать на их базе инновационный бизнес, но терпели неудачу, 
в то время как другие люди, не имеющие столь глубокого образования 
и интеллекта, с легкостью реализовывали проекты ученых. 

Значительное число исследователей придерживается мнения, что 
научить предпринимательству нельзя, что для этого рода деятель- 
ности необходимы особые способности. Природной же предпосыл- 
кой развития способностей является наличие задатков — некоторых 
врожденных анатомо-физиологических особенностей мозга и нервной 
системы. К задаткам, согласно позиции известного отечественного 
ученого-психолога профессора В. А. Крутецкого, относятся типологи- 
ческие свойства нервной системы, природные свойства анализаторов, 
индивидуальные варианты функционирования коры головного мозга. 

Утверждение, что «предпринимателем надо родиться», подтвержда- 
ет следующий факт: по обследованиям, проводимым в США и других 
странах, в 50—72 % случаев у основателей фирм по крайней мере один 
из родителей имеет свободную профессию. В Гарвардскую школу биз- 
неса, например, принимают людей, обладающих предпринимательским 
типом личности по специальному тесту Мейерс-Бриггс. 

Существует множество попыток научиться выявлять людей, способ- 
ных к предпринимательству. Так, группа американских ученых провела 
исследование и доказала, что люди с голубыми глазами намного спо- 
собнее темноглазых и у них гораздо более развито стратегическое 
мышление. По мнению многих специалистов в области методов оцен- 
ки и подбора персонала, существуют зависимости между цветом глаз 
и успешностью в бизнесе. 
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Как мы уже неоднократно убеждались, для выявления зависимо- 
стей, не поддающихся объяснению, и для построения математических 
моделей, использующих такие зависимости, перспективно применение 
методов искусственного интеллекта, в частности аппарата нейросетевых 
технологий. По-видимому, впервые такая попытка была предпринята 
авторами работы [84]. 

Как мы уже знаем, при формировании нейросетевой математи- 
ческой модели большое значение имеет выбор значимых входных 
параметров, т.е. тех параметров предметной области, которые ока- 
зывают влияние на результат моделирования. Можно назвать множе- 
ство факторов, влияющих на успешность бизнеса. Однако многие из 
этих факторов не поддаются количественной оценке. Другие факто- 
ры невозможно включить в математическую модель ввиду отсутствия 
информации о значениях требуемых показателей. Авторы работы [84] 
включили в модель в качестве входных параметров факторы, вли- 
яющие на успешность предпринимательской деятельности в разрезе 
понятия «предпринимательский дух», в основе которого, по мнению 
множества зарубежных ученых и успешных предпринимателей, лежит 
понятие «предпринимательской ДНК». В связи с этим основная часть 
выбранных факторов являлась характеристикой биометрических по- 
казателей человека. Принимая во внимания указанные ограничения, 
в качестве входных параметров нейросетевой математической модели 
были использованы: 

х! — возраст предпринимателя; 

Хә — ПОЛ; 

хз — количество детей; 

ха — образование; 

х5 — сфера деятельности, в которой предприниматель планирует 

вести бизнес; 

хє — цвет глаз предпринимателя. 

В качестве выходного параметра нейронной сети была принята ве- 
личина, которую авторы работы [84] назвали вероятностью успешности 
бизнеса: 4 = 1, если бизнес успешен, и 4 = 0, если неуспешен. 

В качестве обучающих примеров была использована информация 
о бизнесменах из журнала Гогбеѕ (выпуск — май 2009 г. «100 бога- 
тейших бизнесменов»), данные из сети Интернет и данные социо- 
логического опроса. В обучающие множества входили примеры как 
успешного бизнеса (4 = 1), так и неуспешного (4 = 0). После обучения 
сеть тестировалась на примерах, взятых из тех же источников, но не 
участвовавших в процессе обучения сети. Максимальная погрешность 
прогноза на тестовых примерах составила 13,1%. Анализ значимо- 
сти входных параметров показал, что все они являются важными, 
поскольку удаление любого из них приводит к резкому увеличению 
погрешности прогнозов на тестовых примерах. 
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Рис. 5.8. Зависимость вероятности успешности бизнеса от возраста и цве- 
та глаз предпринимателя, являющегося бездетным мужчиной, имеющего 
высшее образование и желающего заняться бизнесом в сфере финансов 


Таким образом, эксперимент [84] можно считать удачным: ней- 
ронная сеть хотя и с погрешностью, но усвоила закономерности 
предметной области и ее можно применять в качестве математиче- 
ской модели этой области. Она подходит как для прогнозирования 
успешности бизнеса желающих заняться предпринимательской дея- 
тельностью, так и для изучения закономерностей этого сложного 
явления. Производя вычисления с помощью нейронной сети, изме- 
няя при этом одни входные параметры и сохраняя неизменными 
другие, можно построить зависимости вероятности успешности биз- 
неса от входных параметров. Одна из таких зависимостей графически 
представлена на рис. 5.8. 

Как видим, наибольшей склонностью к бизнесу в сфере финансов 
среди бездетных мужчин с высшим образованием имеют обладатели 
серых глаз, затем идут зеленоглазые, голубоглазые и на последнем 
месте — обладатели карих глаз. Причем независимо от цвета глаз ве- 
роятность успешности бизнеса снижается с возрастом и к 40 годам 
приближается к нулю. 

В результате проведения дальнейших вычислений и построения 
аналогичных гистограмм были выявлены другие зависимости между 
входными параметрами и вероятностью успешности предпринима- 
тельской деятельности. Было установлено, что цвет глаз может как 
оказывать влияние, так и совсем не влиять на вероятность успеш- 
ности предпринимательской деятельности. Так, у выпускников вузов 
(мужчин), планирующих открыть свое дело в сфере розничной торгов- 
ли товарами народного потребления, цвет глаз незначительно влияет 
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на степень успешности предпринимательской деятельности, однако 
вероятность успешности выше у обладателей карих глаз, затем идут 
обладатели зеленых и голубых глаз. Самая низкая вероятность успеш- 
ной организации собственного дела у обладателей серых глаз. Что 
касается бездетных мужчин с высшим образованием, планирующих 
организовать свое дело в медицине, то самая высокая вероятность 
успешности у обладателей серых глаз, затем идут обладатели голубых, 
зеленых и, наконец, карих глаз. 

В зависимости от различных сочетаний входных параметров, были 
выявлены случаи, когда цвет глаз не оказывал влияния на вероятность 
успешности предпринимательской деятельности. Так, бездетным муж- 
чинам с высшим образованием, независимо от цвета глаз, не следует 
заниматься автомобильным бизнесом. Мужчинам с высшим образова- 
нием в возрасте до 36 лет, вне зависимости от цвета их глаз, можно 
рекомендовать открывать бизнес в сфере розничной торговли. 

В заключение отметим, что указанные здесь закономерности и сле- 
дующие из них рекомендации не охватывают всего многообразия зна- 
ний, извлеченных нейронной сетью из множества обучающих приме- 
ров. Каждый бизнесмен и его предполагаемый бизнес характеризуются 
своим комплексом входных параметров, и поэтому вероятность успеш- 
ности его бизнеса в каждом конкретном случае полезно оценивать 
путем вычислений с помощью нейронной сети — интеллектуальной 
системы прогнозирования успешности предпринимательской деятель- 
ности, разработанной авторами работы [84]. Обратиться к этой системе 
и проверить свою склонность к предпринимательской деятельности, 
а также выбрать наиболее предпочтительную сферу деятельности мож- 
но с сайта ууу.РегтАТ.ги (раздел «Проекты»). 

Надо отметить, что данная интеллектуальная система имеет широ- 
кий спектр применения. Она может быть полезной для начинающих 
предпринимателей, а также служить в качестве инструмента поддержки 
решений, принимаемых зрелыми бизнесменами и экспертами инве- 
стиционных компаний. И конечно же, она неоценима для молодых 
людей, решающих вопрос о выборе будущей профессии. 


5.8. ВЫЯВЛЕНИЕ СПОСОБНОСТИ ЧЕЛОВЕКА 
К НАУЧНОЙ ДЕЯТЕЛЬНОСТИ 


Как отмечалось в предыдущем параграфе, способности к бизнесу обна- 
руживаются не более чем у 7—10% населения. Считается, что научной 
деятельностью способно заниматься еше меньше людей. 

В работе [3] нейросетевая система, прогнозирующая склонность 
к научной деятельности, создавалась путем обучения на биографиче- 
ских данных выдающихся ученых ХІХ—ХХ вв. Во внимание прини- 
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мались такие параметры, как: пол; национальность матери; нацио- 
нальность отца; этнолингвистическая группа; были ли в семье люди, 
связанные с наукой; был ли вундеркиндом в раннем возрасте; по 
каким предметам учился на 4 и 5; занимался ли под руководством 
выдающегося ученого; разносторонность интересов; политическая ак- 
тивность; рассеянность и неприспособленность к реальной жизни; 
проблемы, связанные с душевными расстройствами; отрасль науки. 

Выходной параметр модели 4 кодировал результат прогноза: 1— 
способен к научной деятельности, 0 — не способен к научной дея- 
тельности. 

Всего было подготовлено множество из 200 примеров: 100 при- 
меров со значением выходного параметра & = 1 и 100 примеров со 
значением выходного параметра 4 = 0. 

Как уже отмечалось, при формировании примеров с выходным 
параметром 4 = 1 использовались данные из сети Интернет о выда- 
ющихся ученых ХІХ—ХХ вв., таких как В. Рентген, И. И. Мечников, 
П. Кюри, К. Ф. Гаусс и др. С примерами же, в которых & = 0, возникли 
проблемы, связанные с отсутствием информации. В связи с этим было 
введено предположение, что количество людей, имеющих способно- 
сти к научной деятельности, значительно меньше количества людей, 
не имеющих таких способностей. На основании этого при формиро- 
вании примеров, в которых 4 = 0, входные параметры генерировались 
случайным образом, однако с учетом известных статистических дан- 
ных: каждый червертый-пятый человек в мире страдает психическими 
расстройствами; вундеркинды составляют 1% населения; на 100 де- 
вочек приходится 107 мальчиков и др. После удаления выбросов по 
методике [57] (см. $ 6.5), появление которых, по-видимому, обуслов- 
лено недостоверностью информации, а также грубостью введенных 
гипотез, погрешность тестирования удалось снизить до 18%. 

Как видно из рис. 5.9, исследования предметной области, вы- 
полненные с помощью нейросетевой модели, показали, что наиболее 
значимыми параметрами, определяющими способность человека к на- 
учной деятельности, являются: 

1) занимался ли под руководством известного ученого; 

2) был ли вундеркиндом в раннем возрасте; 

3) был ли разносторонне развитым человеком; 

4) был ли рассеянным и неприспособленным к жизни; 

5) были ли в семье люди, связанные с наукой. 

На рисунках 5.10 и 5.11 приведены результаты исследований вли- 
яния изменения входных параметров на результат моделирования — 
способность к научной деятельности. Исследование выполнено путем 
«замораживания» (фиксации) одних и постепенного изменения других 
входных параметров при одновременным наблюдении за значением 
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Значимость параметров 


Рис. 5.9. Распределение значимости параметров, от которых зависит спо- 
собность человека к научной деятельности 


1 — занимался ли под руководством известного ученого; 2 — был ли вундеркин- 
дом в раннем возрасте; 3 — был ли разносторонне развитым человеком; 4 — 
был ли рассеянным и неприспособленным к жизни; 5 — были ли в семье люди, 
связанные с наукой; 6 — был ли политически активным человеком; 7 — наци- 
ональность отца; $ — пол ученого; 9 — по каким предметам учился на 4 и 5; 
10 — национальность матери; 77 — отрасль научной деятельности; 12 — этно- 
лингвистическая группа; 13 —были ли проблемы, связанные с душевными 
расстройствами 


выходного сигнала сети. Виртуальные эксперименты проводились над 
двумя учеными: А. Эйнштейном и И. Павловым. 
Анализируя данные полученных в результате вычислительных экс- 
периментов гистограмм можно отметить ряд интересных результатов. 
1. Если бы Эйнштейн и Павлов не имели в качестве своих учи- 
телей известных ученых, у них было бы значительно меньше 
шансов стать знаменитыми учеными. 
2. Такой же эффект наблюдается, если бы оба ученых не были 
разносторонне развитыми людьми. 
3. Если бы Эйнштейн не был рассеянным и неприспособленным 
к жизни человеком, то это не повлияло бы на его способно- 
сти к научной деятельности. Если бы Павлов был рассеянным 
и неприспособленным к жизни человеком, то его шансы стать 
знаменитым ученым упали бы до 4%. 
4. Как известно, Эйнштейн и Павлов не были вундеркиндами 
в раннем возрасте. Если бы это было не так, т.е. если бы 
в раннем возрасте они были вундеркиндами, то их способности 
к научной работе остались бы по-прежнему высокими. 
5. Известно, что в семьях, в которых воспитывались Эйнштейн 
и Павлов, не было людей, связанных с наукой. Если бы это 
было не так, то их способности к научной работе по-прежнему 
остались высокими. 
6. Как известно, Эйнштейн активно занимался политикой, то- 
гда как Павлов высокой политической активности не проявлял. 
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Способность к научной 


Рис. 5.10. Результаты компьютерных экспериментов, выполненных при 
виртуальном изменении социальных, биологических и биографических дан- 
ных А. Эйнштейна 


1 — исходное состояние; 2 — если бы не занимался под руководством известного 
ученого; 3 — если бы не было разносторонности интересов; 4 — если бы не был 
рассеянным и неприспособленным к жизни; 5 —если бы был вундеркиндом 
в раннем возрасте; 6 —если бы в семье были люди, связанные с наукой; 7 — 
если бы не был политактивным; 5 — если бы отец был славянином или армяни- 
ном; 9 — если бы отец был французом, бельгийцем, англичанином, итальянцем, 
голландцем; /0— если бы мать была англичанкой, латышкой, венгеркой, ита- 
льянкой, голландкой; //— если бы был женщиной; 1/2 — если бы был необучаем 
в детстве; 1/3 — если бы работал в области химии, физиологии, биологии, во 
многих областях 


Компьютерный эксперимент показывают, что если бы было на- 
оборот, т. е. если бы Павлов был политически активен, а Эйн- 
штейн — нет, то на их способности к научной деятельности это 
бы не повлияло. 

7. Если бы отец Эйнштейна был не евреем, а славянином или 
армянином, то его способности к научной работе остались бы 
по-прежнему высокими. Если бы его отец был французом, 
бельгийцем, англичанином, итальянцем или голландцем, то его 
способности к научной работе упали бы до нуля. 

8. Если бы мать Эйнштейна была не немкой, а англичанкой, 
латышкой, венгеркой, итальянкой или голландкой, то его спо- 
собности к научной работе упали бы до нуля. 

9. Если бы отец или мать Павлова были не русскими, а любой 
другой национальности, то способности Павлова к научной 
работе остались бы по-прежнему высокими. 

10. Если бы Эйнштейн был женщиной, имеющей такие же ха- 
рактеристики, то у него бы не было способностей к научной 
работе. Если бы Павлов был женщиной, то его способности 
к научной работе были бы на 7 % меньше. 
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Способность к научной 


Рис. 5.11. Результаты компьютерных экспериментов, выполненных при 
виртуальном изменении социальных, биологических и биографических дан- 
ных И. Павлова 


1 — исходное состояние; 2 — если бы не занимался под руководством извест- 
ного ученого; 3 — если бы не было разносторонности интересов; 4 — если бы 
был рассеянным и неприспособленным к жизни; 5 — если бы был вундеркин- 
дом в раннем возрасте; 6 —если бы в семье были люди, связанные с наукой; 
7 —если бы был политактивным; & — если бы отец был любой другой нацио- 
нальности; 9 — если бы мать была любой другой национальности; 1/0 — если бы 
был женщиной; //— если бы был необучаем в детстве; /2 — если бы работал 
в области математики, физики, химии, во многих областях 


11. Если бы Эйнштейн и Павлов были неспособны обучаться в дет- 

стве, то у них бы не было способностей к научной работе. 

12. Если бы Эйнштейн вместо физики работал в области химии, 

физиологии, биологии или во многих других областях, его шан- 
сы стать знаменитым ученым снизились бы до нуля. Если бы 
Павлов вместо физиологии работал в области математики, фи- 
зики, химии или во многих других областях, то его шансы 
стать знаменитым ученым упали бы до нуля. 

Подводя итог выполненным исследованиям, отметим, что при- 
веденные здесь выводы на первый взгляд кажутся бесполезными 
и сомнительными. Но, во-первых, напомним, что они являются ре- 
зультатом компьютерных экспериментов над математической моделью, 
адекватность которой доказана сравнительно низкой погрешностью, 
полученной на тестовых примерах. А во-вторых, компьютерная про- 
грамма, реализующая математическую модель, может быть реаль- 
но использована как инструмент психофизиологической диагностики 
и профориентации. Например, молодым людям, мечтающим занимать- 
ся наукой, можно подбирать наиболее подходящую для них научную 
область, в которой их способности могут раскрыться наиболее эффек- 
тивным образом. Воспользоваться таким сервисом можно в разделе 
«Проекты» сайта уму.РегтАТ.ги. 
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5.9. СВОЙСТВА НЕЙРОННЫХ СЕТЕЙ, 
УНАСЛЕДОВАННЫЕ ОТ МОЗГА 


Нейронная сеть — это система, выполненная по образу и подобию 
человеческого мозга. Вполне естественно, что она «наследует» его 
свойства, причем не только положительные, но и отрицательные. 

Как и человеческий мозг, нейронная сеть способна получать зна- 
ния из данных и обнаруживать скрытые в них закономерности. Но, 
как и человек, нейронная сеть не в состоянии объяснять, как она 
это делает? 

Архимед открыл свой закон, лежа в ванне, Ньютон — наблюдая за 
падением яблока. Оба ученых гениальным образом догадались, нашли 
истину, не объяснив, однако, как они это сделали. 

Нейронная сеть, извлекая закономерности из данных, тоже спо- 
собна получать знания, делать догадки, открывать законы природы. 
Но так же, как и человек, нейронная сеть не способна к четкой 
формулировке пунктов алгоритма, позволившего ей сделать то или 
иное умозаключение. Она не способна вербализовать (от француз- 
ского уегра/ — «словесный») свои выводы, т.е. объяснить их словами. 
Знания, которыми она обладает, невербальны, т.е. необъяснимы по- 
средством слов. 

Согласно современным эзотерическим теориям, гений в момент 
озарения «считывает информацию из параллельных миров», поэтому 
он не может выстроить логическую цепочку, не может объяснить, как 
он догадался. Разумеется, нелепо было бы утверждать, что нейронная 
сеть в момент извлечения знаний проделывает аналогичную опера- 
цию, поэтому моделирование деятельности мозга дает нам основания 
возразить против эзотерической теории познания. По-видимому, мно- 
гие из феноменов, которые демонстрируют экстрасенсы, контактеры 
или шаманы, можно объяснить свойством мозга извлекать информа- 
цию из неполных данных — свойством, которое удается моделировать 
с помощью нейронных сетей. 

В практике применения нейронных сетей известны случаи, ко- 
гда нейронные сети демонстрируют феномен, называемый в жизни 
«шестым чувством». Шестое чувство, или интуиция, — это способ- 
ность человека делать правильные выводы и принимать правильные 
решения, руководствуясь информацией, которой для логического объ- 
яснения таких выводов и решений недостаточно. Обычно считается, 
что «шестым чувством» в большей степени обладает женская половина 
человечества: очень часто женщины совершают поступки и прини- 
мают решения, которые мужчины (с точки зрения их традиционной 
логики) объяснить не могут, — и нередко такие поступки и решения 
оказываются единственно правильными. 
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Нейронные сети с успехом извлекают знания при анализе инфор- 
мации, из которой, казалось бы, эти знания извлечь невозможно. 
Ранее, в $ 5.3, был приведен пример диагностики неисправностей 
авиационных двигателей по совокупности их полетных параметров. 
Феномен заключается в том, что, помимо всех прочих неисправностей, 
нейронная сеть диагностирует и такие, которые невозможно выявить 
традиционными диагностическими методами, основанными на зако- 
нах физики. Так, дефект «стружка в масле» обнаруживается только 
после вскрытия авиадвигателя. Этот дефект не выявляется традицион- 
ными диагностическими методами, поскольку его наличие, по мнению 
специалистов, никак не влияет ни на один из снимаемых с авиадви- 
гателя полетных параметров. Тем не менее, несмотря на отсутствие 
какой-либо связи между появлением этого дефекта и параметрами ра- 
боты авиадвигателя, нейронная сеть все-таки обнаруживает скрытую 
от обычных вербальных методов диагностики закономерность и ставит 
правильный диагноз относительно наличия или отсутствия стружки. 

Как можно объяснить этот феномен? 

Наше объяснение состоит в следующим. Действительно, согласно 
общепринятому мнению специалистов, появление стружки в поддоне 
двигателя не сказывается на его температуре, вибрациях, шумах, перепа- 
дах давления и пр., а следовательно, не вызывает серьезных отклонений 
ни одного из значений параметров входного вектора Х: х], хо..... 
Но возможно, что небольшие, незаметные для глаза специалистов 
отклонения в параметрах работы двигателя все-таки есть. Причем, 
возможно, появление стружки приводит к изменениям не одного и не 
двух, а сразу многих компонент вектора Х, и нейросеть реагирует на 
этот комплекс незаметных глазу изменений. Ведь она «следит» не за 
одним и не за двумя, а сразу за всеми компонентами вектора Х! 

Феномены подобного рода в практике применения нейросетевых 
технологий не являются редкостью. Особенно часто они наблюдают- 
ся при исследовании достаточно сложных объектов, когда нейронные 
сети выявляют связи и закономерности, о существовании которых 
специалисты не знают. Выявляются даже такие взаимосвязи и взаим- 
ные влияния, которые при поверхностном рассмотрении противоречат 
здравому смыслу специалистов и становятся понятными и объясни- 
мыми только после более тщательного изучения объекта. 

Способность нейронных сетей и нейрокомпьютеров выявлять 
и использовать неизвестные ранее знания — это, безусловно, их по- 
ложительное свойство, «унаследованное» ими от своего естественного 
прототипа — мозга. Мы уже были свидетелями тому, как это свойство 
позволило создать нейросетевую систему диагностики авиационных 
двигателей, способную выявлять дефекты, которые традиционными 
методами не выявляются. В других случаях обнаружение нейросете- 
выми моделями новых, неизвестных ранее знаний и закономерностей 
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предметных областей может приводить к открытиям, изменяющим 
традиционные научные представления и парадигмы, порождающим 
инновационные прорывы в той или иной научной области. Так, иссле- 
дование нейросетевой кардио-диагностико-прогностической системы 
(см. $ 5.2 и [69, 108, 109]) позволило сделать принципиально новый 
вывод о том, что общие рекомендации, обычно даваемые врачами 
всем без исключения кардиологическим больным о необходимости 
соблюдения гипохолестериновой диеты, отказа от употребления кофе 
и алкоголя, снижения веса, ограничения физических нагрузок и др., 
для некоторых пациентов могут оказаться не только не полезными, 
но и причинить вред. Исследования [108, 109] показали, что такие ре- 
комендации должны даваться с учетом индивидуальных особенностей 
больных, определяемых довольно большим комплексом их параметров. 

В отличие от экспертных систем, в которые знания закладывают- 
ся экспертами-разработчиками, нейронные сети приобретают знания 
автоматически, извлекая их из примеров практического поведения 
предметных областей. И здесь уместно вспомнить слова Гете: «Суха 
теория, мой друг, но древо жизни зеленеет». Всякая модель мира все- 
гда ограничена. Всякая теория беднее практики. Поэтому нейронные 
сети, обучающиеся непосредственно на практических примерах реаль- 
ной жизни, в принципе способны извлекать и усваивать такие знания, 
которые специалистам-экспертам и ученым, а значит и создателям 
экспертных систем, не известны. 

Более того, они способны извлекать и использовать и такие знания, 
которые на современном этапе развития традиционной науки объ- 
яснить не удается. Например, повышение точности прогнозов курса 
валют в случае учета факторов космической природы [71] или влияние 
цвета глаз предпринимателя на успешность его бизнеса ($ 5.7 и [84]). 

Итак, невербальность и интуиция нейронных сетей — это свой- 
ства, «унаследованные» ими от мозга. Причем если первое из этих 
свойств является вредным, то второе — полезным. Невербальность 
вызывает трудности в применении нейронных сетей и осложняет на- 
хождение общего языка с потребителями программной продукции, 
которым часто требуется не только получить какой-либо вывод, но 
и объяснить, на основании чего он сделан. Свойство интуиции, на- 
оборот, делает их одним из эффективнейших инструментов, полезных 
для научного и практического применения. 

Интересно отметить, что кроме вышеназванных обнаружились 
и другие свойства нейронных сетей, тоже унаследованные от мозга. 
Это, например, свойство живучести. Известно, что мозг очень жи- 
вуч: были случаи, когда люди, потеряв в результате травм до 30% 
объема мозга, вели себя вполне адекватно и продолжали совершать 
обдуманные поступки. Как выяснилось, нейрокомпьютеры (в отли- 
чие от обычных фон-неймановских компьютеров) тоже продолжают 
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функционировать при довольно значительных повреждениях! Они про- 
должают принимать правильные решения в случае нарушения одного 
или нескольких внутренних соединений — синаптических связей. Они 
продолжают решать поставленные перед ними задачи даже в случае 
удаления из них некоторого количества нейронов. 

Еще одним свойством, унаследованным от мозга, по-видимому, яв- 
ляется свойство гиперразмерности (или переобучения), под которым 
понимается ухудшение обобщающих свойств нейросети при излишне 
большом количестве скрытых нейронов (см. $ 6.1). В качестве аналогии 
из реальной жизни можно привести известное наблюдение психологов 
того, что эрудиция и креативность редко уживаются в одном человеке, 
что эти качества людей часто являются взаимоисключающими. Еще 
один пример могут привести опытные педагоги, знающие, что в ре- 
альной жизни троечники обычно устраиваются лучше, чем отличники. 

Итак, персептрон, являясь моделью человеческого мозга, наследует 
его свойства, причем не только положительные, но и отрицательные. 

К положительным относятся следующие свойства: 
обучение; 
обобщение; 
извлечение знаний из данных; 
интуиция; 
живучесть. 

Отрицательными качествами являются невербальность и гипер- 
размерность. Заметим, что если свойство обучения первоначально 
планировалось первыми создателями нейрокомпьютеров, то осталь- 
ные обнаружились в дальнейшем по мере эксплуатации, развития 
и изучения нейронных сетей и нейрокомпьютеров. 


Контрольные вопросы и задания к $ 5.9 


1. Перечислите положительные и отрицательные свойства, которые 
персептрон наследовал от своего прототипа — человеческого мозга. 

2. Какие знания называются невербальными? 

3. Вспомните, каким образом вербализуются выводы, получаемые 
с помощью экспертных систем. 

4. Подумайте над тем, как можно вербализовать нейросетевые знания. 

. Дайте определение интуиции. Приведите примеры проявления 

этого свойства у человека и у нейронных сетей. 

6. В каких случаях может быть полезно свойство живучести ней- 
рокомпьютеров? 

7. Приведите примеры выявления с помощью метода нейросете- 
вого моделирования закономерностей, которые на современном 
этапе развития традиционной науки объяснить не удается. По- 
пытайтесь дать объяснение этим закономерностям. 


л 


110 Глава 5. Возможности и сферы применения нейронных сетей 


5.10. КРУГ ЗАДАЧ, РЕШАЕМЫХ 
ПРИ ПОМОЩИ НЕЙРОННЫХ СЕТЕЙ 


Приведенные выше примеры, а также анализ литературных данных 
и интернет-источников убедительно показывают, что нейросетевые 
технологии — это универсальный и весьма эффективный инструмент 
для построения математических моделей и интеллектуального анализа 
данных в самых разнообразных физических, технических, химических, 
экономических, социальных и другого рода объектах, процессах и яв- 
лениях. Проводя исследование предметных областей с помощью этих 
моделей, мы можем решать разнообразные практические задачи. На- 
пример, если нам удалось построить математическую модель какого-то 
сложного технологического процесса (скажем, выплавки стали в элек- 
тродуговой печи, или крекинга нефти в химическом реакторе, или 
производства электроэнергии на электростанции), то, исследуя эту 
компьютерную математическую модель, проводя над ней виртуальные 
эксперименты, изучая с их помощью влияние входных параметров на 
выходные, можно решить задачу оптимизации моделируемого техно- 
логического процесса. Это значит, что можно подобрать оптимальное 
сочетание входных параметров, обеспечивающих, например, макси- 
мально высокое качество выплавляемой стали; можно рассчитать наи- 
более благоприятный ход химической реакции крекинга нефти; можно 
выбрать наиболее эффективный режим работы электростанции и т. д. 

Аналогично решаются задачи оптимизации в сфере бизнеса и эко- 
номики. В этом случае выходом нейронной сети может быть некая 
целевая функция, имеющая смысл экономической эффективности 
предприятия: валового продукта, прибыли или рентабельности фирмы. 

Если математическая модель является нестационарной, т.е. состав- 
лена с учетом фактора времени, то ее можно использовать для решения 
задач прогнозирования. Это значит, что с помощью математической 
модели можно узнать, какими будут технологические, экономические, 
социальные, политические, спортивные, медицинские, экологические 
и другие показатели моделируемого объекта или процесса в будущем 
и как на них можно повлиять, принимая те или иные меры сегодня. 

Если математическая модель работает в реальном режиме времени, 
т.е. оперативно получает сведения о текущих изменениях параметров 
моделируемого объекта, если результаты математического моделиро- 
вания могут быть переданы оператору, управляющему объектом, или 
непосредственно введены в приборы, дозирующие подачу руды, кисло- 
рода и других химических компонентов в электропечь либо в приборы, 
управляющие параметрами работы химического или ядерного реакто- 
ра, то такая математическая модель будет решать задачу управления 
моделируемым объектом или процессом. 
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Наконец, если нейросеть каким-либо образом вербализовать, то ее 
можно использовать для понимания явлений и процессов, происхо- 
дящих в изучаемой предметной области. 

Кроме перечисленных задач — понимания, оптимизации, прогно- 
зирования и управления — персептрон может решать задачи распо- 
знавания и классификации образов. Под образами здесь понимаются 
зрительные изображения, символы, тексты, запахи, звуки, шумы, 
наборы параметров (векторы), характеризующие состояние здоровья 
пациента или состояние технического устройства и пр. 

Отметим, что во всех ранее рассмотренных примерах построения 
нейросетевых математических моделей не требовалось знание и исполь- 
зование законов природы, экономики, общества. Вместо этого нужно 
было лишь назначить входные и выходные параметры создаваемой 
модели и подготовить множество примеров, содержащее статистиче- 
ские данные о поведении предметной области. И если предметная 
область такова, что между входными и выходными параметрами моде- 
ли существуют взаимозависимости, а множество примеров достаточно 
репрезентативно (представительно), то нейронная сеть сама извле- 
кает закономерности предметной области и кодирует их в виде сил 
синаптических связей так, что нейросетевая математическая модель 
становится адекватной по отношению к рассматриваемой предметной 
области. 


Контрольные вопросы и задания к $ 5.10 


1. В чем состоит задача оптимизации моделируемого объекта или 
процесса и как она решается с помощью нейросетевых техно- 
логий? Приведите примеры. 

2. В чем состоит задача прогнозирования свойств моделируемого 
объекта, явления или процесса и как она решается с помощью 
нейросетевых технологий? Приведите примеры. 

3. В чем состоит задача управления моделируемым объектом или 
процессом и как она решается с помощью нейросетевых техно- 
логий? Приведите примеры. 

4. В чем состоит задача распознавания (классификации) образов 
и как она решается с помощью нейросетевых технологий? При- 
ведите примеры. 

5. Чем отличается искусственная нейронная сеть от нейрокомпью- 
тера? 


Глава 6 


ОПТИМАЛЬНОЕ ПРОЕКТИРОВАНИЕ 
И ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ 


6.1. ТЕОРЕМЫ СУЩЕСТВОВАНИЯ 


Из предыдущего изложения следуют два важных вывода. 

1. В жизни встречается множество практически важных задач, 
решить которые можно методом математического моделирования, 
т.е. путем построения некоторой сложной функции, осуществляющей 
преобразование вектора входных параметров Х в вектор выходных 
параметров Р. 

2. Универсальным инструментом построения такой функции явля- 
ются нейросетевые технологии. 


Естественно, возникают вопросы: всегда ли можно построить 
нейронную сеть, выполняющую преобразование, заданное любым 
множеством обучающих примеров, и каким требованиям должна 
удовлетворять эта нейронная сеть? 

Надо признать, что до сих пор материал, который мы изучали, 
носил в большей степени позитивный, «рекламный» характер. Мы 
много говорили о преимуществах и широких возможностях метода 
нейросетевого моделирования, но практически почти ничего — о его 
недостатках. Мы не упоминали о трудностях, связанных с применением 
этого метода. Но освоить любой метод можно, только познакомившись 
со всеми его проблемами, изучив способы их преодоления, изучив 
и поняв его теоретическую базу. 

С одной из таких трудностей, названной «Проблемой исключающего 
ИЛИ», мы уже столкнулись при изучении $ 4.6 и теперь знаем, что 
персептрон должен иметь скрытый слой нейронов, но осталось два 
вопроса. 

1. Всегда ли можно спроектировать и обучить многослойный 
персептрон, обеспечивающий решение любой задачи? 

2. Каким образом лучше задавать количество внутренних нейронных 
слоев и количество нейронов в них? Может быть, как в мозге, — 1011 
нейронов? Может, чем их будет больше, тем лучше? 


Ответы на эти вопросы мы выясним, познакомившись с теоре- 
тической базой нейронных сетей. 

Важнейшее место в теории нейронных сетей занимает теорема 
Арнольда— Колмогорова— Хехт-Нильсена, доказательство которой до- 
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статочно сложно и поэтому в нашем курсе не рассматривается. Тем не 
менее сама история этой теоремы представляется весьма интересной 
и поучительной. 

Как мы уже не раз отмечали, с физической точки зрения 
персептрон — это устройство, моделирующее человеческий мозг на 
структурном уровне. Однако, анализируя формулы, по которым он 
преобразует сигналы, можно заметить, что с математической точки 
зрения персептрон — это всего лишь аипроксиматор, заменяющий 
функцию многих аргументов суммой функций, каждая из которых 
зависит только от одного аргумента. Вопрос о том, всегда ли 
можно любую функцию многих аргументов представить в виде суммы 
функций меньшего количества аргументов, интересовал математиков 
на протяжении нескольких столетий. 

Так, в 1900 г. на Всемирном математическом конгрессе в Париже 
знаменитый немецкий математик Давид Гильберт сформулировал 23 
проблемы, которые он предложил решать математикам начинающегося 
ХХ в. Одна из этих проблем (под номером 13) как раз и декларировала 
невозможность такого представления. Таким образом, приговор новой 
области искусственного интеллекта был вынесен за полвека до ее 
появления. Получалось, что персептрон, сколько бы нейронов он ни 
имел, не всегда мог построить нужную математическую функцию. 

Многие проблемы Гильберта были успешно решены математиками 
ХХ в. Его утверждения-гипотезы подтверждались одна за другой, но 
вот с тринадцатой возникли проблемы. 

Сомнения относительно возможностей персептронов развеяли 
советские математики — академики В. И. Арнольд [2, 66] и А. Н. Кол- 
могоров [27, 28]. Им удалось доказать, что любая непрерывная 
функция и аргументов Г(х1,х2,....х„) всегда может быть пред- 
ставлена в виде суммы непрерывных функций одного аргумента: 
ИО) + 202) +... +3, (х). Тем самым гипотеза Гильберта была 
опровергнута, а нейроинформатике был открыт «зеленый свет». 

В 1987—1991 гг. профессор Калифорнийского университета (США) 
Р. Хехт- Нильсен [95, 96] переработал теорему Арнольда — Комогорова 
применительно к нейронным сетям. Он доказал, что для любого 
множества различающихся между собой пар векторов Ху и Р, 
произвольной размерности существует двухслойный персеитрон 
с сигмоидными активационными функциями и с конечным числом 
нейронов, который для каждого входного вектора Ха формирует 
соответствующий ему выходной вектор Ро. Таким образом, была 
доказана принципиальная возможность построения нейронной сети, 
выполняющей преобразование, заданное любым множеством различа- 
ющихся между собой обучающих примеров, и установлено, что такой 
универсальной нейронной сетью является двухслойный персептрон — 
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персептрон с одним скрытым слоем, причем активационные функции 
его нейронов должны быть сигмоидными. 

Теорема Арнольда — Колмогорова — Хехт-Нильсена имеет очень 
важное для практики следствие в виде формулы, с помощью которой 
можно определять необходимое количество синаптических весов 
нейронной сети: 


ео < № < М, (12. +1) (№ + А +1) + №, (6.1) 
где №, — количество нейронов ВХхОДНОГО СЛОЯ; №, — количество нейро- 
НОВ ВЫХОДНОГО СЛОЯ; О — количество элементов множества обучающих 
примеров, т.е. количество пар входных и выходных векторов Ха И Р’; 
№, — необходимое число синаптических связей. 

Оценив с помощью этой формулы необходимое число синап- 
тических связей №», можно рассчитать и необходимое количество 
нейронов в скрытых слоях. Например, количество нейронов скрытого 
слоя двухслойного персептрона будет равно: 


= № (6.2) 


Последняя формула становится очевидной, если ее левую и правую 
части умножить на (№. + №) и нарисовать схему двухслойного 
персептрона (т. е. персептрона с одним скрытым слоем). 

А теперь зададимся вопросом: что было бы, если бы гипоте- 
за 13-й проблемы Гильберта оказалась верной? Очевидно, тогда 
у нейроинформатики не было бы теоретического фундамента. Ее 
прикладные возможности были бы серьезно ограничены; более того, 
сама правомерность ее существования как области науки оказалась 
бы под вопросом! Кому нужен нейрокомпьютер, который в принципе 
не может решать ряд задач, для решения которых он предназначен? 
Не было бы у нейроинформатики ее многочисленных практических 
приложений... 

Но они есть! В настоящее время нейроинформатику можно заносить 
в Книгу рекордов Гиннеса: она побила все рекорды по количеству 
приложений в самых разнообразных областях! Жизнь сама блестяще 
подтвердила теоремы и доказательства, выполненные в 1956—57 гг. 
нашими соотечественниками — Андреем Николаевичем Колмогоровым 
и Владимиром Игоревичем Арнольдом! 

Между тем среди математиков не прекращаются попытки развития 
и усиления теорем Арнольда — Колмогорова — Хехт-Нильсена. Так, 
известным российским ученым А. Н. Горбанем доказано [16, 17], что 
универсальные аппроксимационные свойства нейросетей определяются 
не конкретным выбором функций активации (ими не обязательно 
должны быть сигмоиды), а свойством нелинейности этих функций: 
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«достаточно, чтобы активационные функции были нелинейны и два- 
жды непрерывно дифференцируемы». 

У нас нет оснований сомневаться в строгости математических 
доказательств профессора А. Н. Горбаня, но практика применения 
нейросетевых технологий убедительно показывает, что наилучшие 
нейросетевые модели (персептронного типа) получаются в тех случаях, 
когда в качестве активационных функций используются функции 
именно сигмоидного типа — те, которые зафиксированы биологами 
при изучении мозга, т. е., которые придумали не математики, а сама 
Природа. 

Хотя возможны и исключения. 


6.2. МЕТОДЫ ПРОЕКТИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ 


Как следует из теорем Арнольда — Колмогорова — Хехт-Нильсена, для 
построения нейросетевой модели любого сколь угодно сложного 
объекта достаточно использовать персептрон с одним скрытым слоем 
сигмоидных нейронов, количество которых определяется формулами 
(6.1), (6.2). Однако в практических реализациях персептронов опти- 
мальное количество как слоев, так и нейронов в каждом из них нередко 
отличается от теоретических. К тому же иногда бывает целесообразно 
использовать персептроны с большим количеством скрытых слоев. 

Строгой теории выбора оптимального количества скрытых слоев 
и нейронов в скрытых слоях пока не существует. На практике чаще 
всего используются персептроны, имеющие один или два скрытых 
слоя, причем количество нейронов в скрытых слоях обычно колеблется 
от №,./2 до 3М.. 

При проектировании персептрона необходимо понимать, что он 
должен не только правильно реагировать на примеры, на которых он 
обучен, но и уметь обобщать приобретенные знания, т.е. правильно 
реагировать на примеры, которых в обучающем множестве не было. 
Чтобы оценить способность сети к обобщению, помимо обучающего 
множества примеров Ё, в рассмотрение вводят некоторое количе- 
ство тестовых примеров, образующих тестирующее множество Т 
(рис. 6.1). Причем примеры тестирующего множества относятся к той 
же самой предметной области, но в процессе обучения не участвуют. 

После обучения вычисляют среднеквадратичную (или максималь- 
ную) ошибку нейронной сети как разницу между получившимися 
в результате вычислений компонентами выходного вектора У и его 
желаемыми (заданными в примерах) компонентами вектора Б. Ошиб- 
ку, вычисленную на примерах обучающего множества Ё, называют 
ошибкой обучения и обозначают как 51, а ошибку, вычисленную на 
примерах тестирующего множества Г, называют ошибкой обобщения, 
или ошибкой тестирования, и обозначают как єт. 
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Примеры поведения 
Обучающее предметной области 
Тестирующее 


множество 
Т, множество 
Т 
Подтверждающее 
множество 


Р 


Рис. 6.1. Деление примеров поведения предметной области на обучающее 
множество Д, тестирующее множество Г и подтверждающее множество Р 


% % 
70 70 


60 60 
50 50 
40 40 
30 30 
20 20 
10 10 


Рис. 6.2. Характерные зависимости ошибки обучения 51 и ошибки 
обобщения (тестирования) єт от количества скрытых нейронов № 


Обратим внимание, что ошибка обучения = вычисляется на тех 
примерах предметной области, на которых сеть обучалась. Ошибка же 
обобщения єт вычисляется на примерах той же предметной области, 
но которые сеть никогда «не видела». Поэтому ошибки 5/ и т имеют 
разную природу и, соответственно, разный характер поведения. При 
увеличении количества № нейронов скрытых слоев персептрона ошибка 
обучения =/ обычно уменьшается, тогда как ошибка обобщения #7 
сначала уменьшается, а затем (начиная с некоторого оптимального 
количества нейронов скрытого слоя № = №) вновь возрастает. 
Характерные кривые зависимости ошибок обучения и обобщения 
от количества скрытых нейронов приведены на рис. 6.2. 
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® — обучающие примеры 
О — тестовые примеры 


Рис. 6.3. Аппроксимация данных предметной области с помощью поли- 
номов первого порядка (кривая /), второго порядка (кривая 2) и пятого 
порядка (кривая 3) 


Поведение этих кривых легко объяснить, если воспользоваться 
аналогией с аппроксимацией набора данных полиномами мето- 
дом наименьших квадратов. Как известно, задача аппроксимации 
состоит в том, чтобы подобрать полином, наиболее правильно 
отражающий характер закономерности, представленной графически 
точками предметной области. На рис. 6.3 точки, соответствующие 
некоторым параметрам предметной области, изображены в системе 
координат х – у в виде двенадцати черных и белых кружков. Точки, 
отмеченные черными кружками, использовались при определении 
коэффициентов аппроксимирующих полиномов, а точки, отмеченные 
белыми кружками, не использовались, поэтому по ним можно 
судить о качестве аппроксимации. Выражаясь терминами нейросетевых 
технологий, черные кружки можно назвать обучающими примерами, 
а белые — тестирующими. 

Кривая / изображает результат аппроксимации полиномом пер- 
вой степени, кривая 2 — полиномом второй степени, кривая 3 — 
полиномом пятой степени. Как видно из рисунка, использование 
полинома первой степени не дает хорошей аппроксимации законо- 
мерности предметной области. Кривая, соответствующая полиному 
пятой степени, в точности проходит через все черные кружки, т. е. 
имеет нулевую погрешность обучения =г/, тогда как тестовые белые 
кружки остаются в стороне, и значит, погрешность тестирования єт 
весьма велика. Следовательно, данная кривая свойством обобщения 
не обладает. Наименьшую погрешность тестирования єт имеет кривая 
второго порядка, которая для данной предметной области является 
оптимальной. 
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Подводя итог проводимому сравнению, отметим, что нейросети, 
как и регрессионные модели, выстраивают функции, аппроксими- 
рующие точки предметной области, причем для каждой решаемой 
задачи существует некоторое оптимальное значение степеней свободы 
математической модели. В случае полиномиальной аппроксимации 
степенями свободы являются определяемые коэффициенты (число 
которых на единицу больше порядка полинома). Число степеней 
свободы персептрона — это общее количество синаптических весов 
(и порогов), которое определяется количеством нейронов скрытых 
и выходных слоев. Свойство нейросети терять способность к обоб- 
щению при чрезмерном увеличении количества скрытых нейронов 
(степеней свободы) называют иереобучением, или гиперразмерностью. 

Вооружившись этими теоретическими знаниями, приведем неко- 
торые практические рекомендации по проектированию персептронов, 
т.е. по выбору количества входных нейронов, количества выходных 
нейронов, количества скрытых слоев, количества нейронов в скрытых 
слоях, виду активационных функций. 

1. Количество входных нейронов персептрона должно совпадать 
с количеством входных параметров, т. е. с размерностью вектора Х, 
который определен условиями решаемой задачи. 

2. Количество нейронов выходного слоя должно совпадать с коли- 
чеством выходных параметров, т. е. с размерностью выходного вектора 
р, что также определено условиями задачи. 

3. Количество скрытых слоев персептрона, согласно теоремам 
Арнольда — Колмогорова — Хехт- Нильсена, должно быть не менее 
одного, причем нейроны в скрытых слоях должны иметь сигмоидную 
активационную функцию. 

4. Количество нейронов в скрытых слоях может быть приближенно 
оценено по формулам следствия теоремы Арнольда — Колмогорова — 
Хехт-Нильсена (6.1), (6.2). Однако его желательно уточнять (оптими- 
зировать) для каждой конкретной задачи, например, путем построения 
кривых рис. 6.2 и определения с их помощью оптимального количества 
скрытых нейронов №. 

5. Согласно теоремам Арнольда — Колмогорова — Хехт- Нильсена, 
активационные функции хотя бы одного скрытого слоя нейронов 
должны иметь форму сигмоиды. 

В наиболее ответственных случаях наряду с обучающим множеством 
І и тестирующим множеством Т, в рассмотрение вводят еще одно 
множество примеров, называемое подтверждающим, и обозначают 
его буквой Р (см. рис. 6.1). Примеры этого множества также относятся 
к рассматриваемой предметной области, но ни в обучении, ни 
в тестировании и оптимизации сети они не участвуют. Поэтому ошибка 
прогнозирования 5р, вычисленная на примерах подтверждающего 
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множества Р, является наиболее объективной оценкой качества 
нейросетевой математической модели. 

Для проектирования нейронных сетей и работы с ними имеется 
множество специальных программ, называемых нейросимуляторами, 
нейроимитаторами, нейропакетами. Многие из этих программ 
имеют функции автоматической оптимизации нейронных сетей. 


Контрольные вопросы и задания к 8 6.2 


. В чем состоит процесс проектирования персептронов? 

Как задается количество нейронов входного слоя персептрона? 

Как задается количество нейронов выходного слоя персептрона? 

Как задается количество нейронов в скрытых слоях персептрона? 

От каких параметров задачи зависит оптимальное количество 

нейронов скрытых слоев персептрона? 

6. Как задается вид активационных функций нейронов? 

7. Чем отличается ошибка обучения от ошибки тестирования? 

8. Нарисуйте примерные графики зависимости обеих ошибок от 
количества нейронов скрытых слоев персептрона. 

9. К какому нежелательному последствию может привести чрезмерное 
уменьшение количества нейронов в скрытых слоях персептрона? 

10. К какому нежелательному последствию может привести чрезмерное 
увеличение нейронов в скрытых слоях персептрона? 

11. Как на практике подбирается количество нейронов скрытых слоев 
персептрона? 

12. Почему ошибка, вычисленная на примерах подтверждающего 
множества, является наиболее объективной оценкой качества 
нейронной сети? 

13. Попробуйте объяснить с точки зрения теории нейронных сетей 

(см. $ 6.1) часто встречающийся факт — «двоечники» и «троечники» 

в жизни устраиваются лучше, чем отличники. 


ы 
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Как было отмечено ранее, изобретение алгоритма обратного распро- 
странения ошибки открыло путь широкому практическому приме- 
нению многослойного персептрона. Однако с расширением фронта 
научных исследований обнаружились и недостатки этого алгоритма. 

Метод градиентного спуска. Прежде всего отметим, что алгоритм 
обратного распространения ошибки в его первоначальном изложении 
реализовывал метод градиентного спуска, который является далеко не 
самым лучшим методом теории оптимизации. Эта теория ставит своей 
задачей поиск минимума некоторой целевой функции (функционала) 5, 
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которая зависит от нескольких пе- 
ременных, представленных в виде 
вектора ж = [м1, и>,...,№„|”. В слу- 
чае обучения многослойного пер- 
септрона целевая функция є — это 
квадратичная ошибка персептрона, 
рассчитанная по формуле (4.14), 
а и вектор синаптических весов 
межнейронных связей. 

Согласно методу градиентного 
спуска, процесс поиска минимума 
функции є = 5(*) можно предста- 
вить следующим образом. В неко- 
торой случайно заданной точке по- 
верхности ошибок (рис. 6.4) на- 
ходится направление скорейшего 
Рис. 6.4. Поиск минимума функ- Спуска (антиградиента), затем де- 
ции 5 = &(№) методом градиентного лается шаг вниз на расстояние, 

спуска пропорциональное крутизне склона 

(градиенту) и коэффициенту ско- 

рости обучения 1. В новой точке снова определяются направление 

и величина антиградиента, согласно которому делается следующее 
перемещение и т. д. 

Методы оптимизации, использующие понятие градиента функции, 
называются градиентными. Существует группа методов, называемых 
квазиньютоновскими, в которых, помимо первых производных, ис- 
пользуются еще и вторые производные целевой функции, т.е., помимо 
градиента функции ошибок, учитывается еще и ее кривизна. 

Во всех методах обучения нейросетей существует проблема выбора 
параметра 7, определяющего длину шага вдоль выбранного направле- 
ния оптимизации. Простейший способ состоит в фиксации постоянных 
значений 7 на весь период обучения. При этом рекомендуется величину 
77 задавать отдельно для каждого слоя персептрона, например, по 
эмпирической формуле [41, 54] 


п < шт (2) А (6.3) 


п; 


где и; — количество входов і-го нейрона в слое. 

Другие методики предполагают динамическое изменение 1 в ходе 
обучения в зависимости от поведения целевой функции ошибок 5, 
вычисляемой по формуле (4.14). Для более быстрой сходимости 
коэффициент 77 стремятся увеличивать по мере снижения функции 
ошибок, однако не допуская ее существенного возрастания. 
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Эвристические методы. Следующую группу методов обучения 
нейросетей называют эвристическими. Эти методы не имеют строгого 
теоретического обоснования, но в них отражается личный опыт 
работы авторов в области нейросетевых технологий. В качестве при- 
мера приведем метод упругого обратного распространения (алгоритм 
КРКОР — от КезИеи! раск РКОРагапои). Согласно этому алгоритму, 
при корректировке весовых коэффициентов учитывается только знак 
соответствующей составляющей градиента, а само значение градиента 
в расчет не принимается: 


Лиу (0) = —15(1) - ѕівп (.5;(0)), 


— 05() 
где ,5;(7) = == 
де 5у(1) би’ 
Коэффициенты обучения рассчитываются с помощью эвристиче- 
ской формулы 


1,2707 — 1), если .5;(7) х 55-1 > 0; 
(0) = 4 0,57;(7 —– 1), если .5;(7) х 5;(7 – 1) < 0; 
7/0 — 1), если .5;(1) х .5;(7—– 1) = 0. 


Таким образом, идея метода, геометрически интерпретированная на 
рис. 6.5, состоит в том, что коэффициент обучения для каждого 
весового коэффициента увеличивается до тех пор, пока знак градиента 
на двух последующих шагах не сменится на противоположный. В случае 
же смены знака градиента коэффициент обучения уменьшается в 2 раза. 
Причем авторы алгоритма ограничили рост коэффициентов обучения 
ЧИСЛОМ тах = 50, а его уменьшение — числом ъіһ = 10-5. 

Как видим, помимо основной идеи, которая понятна на инту- 
итивном уровне, эвристический алгоритм КРКОР содержит четыре 
эмпирических параметра. 

Неградиентные методы. Существует группа методов, не тре- 
бующих вычисления производных от целевой функции и поэтому 
называемых неградиентными. В таких методах используется только 
информация о значениях целевой функции в отдельных точках, на 
основании которой строится стратегия поиска экстремума. В качестве 
примеров можно назвать метод половинного деления, метод золотого 
сечения, метод Фибоначчи и др. Однако, как правило, неградиент- 
ные методы значительно уступают по эффективности градиентным 
и поэтому не рекомендуются для обучения нейросетей. 

В настоящее время основная проблема обучения персептронов 
состоит в том, что поверхность функции ошибок обычно имеет 
очень сложную форму с множеством локальных минимумов (рис. 6.6). 
Поэтому все изложенные выше методы часто приводят к одному из 
локальных минимумов, лежащих в окрестности начальной точки обуче- 
ния. Если после нахождения такого минимума погрешность обучения 
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Локальный 
минимум 


Глобальный 
минимум 


1] іј 


Рис. 6.5. Геометрическая интерпре- Рис. 6.6. Глобальный и локальные 
тация к алгоритму упругого обрат- минимумы на поверхности ошибок 
ного распространения КРКОР 


нейросети признается неудовлетворительной, то сеть «встряхивают», 
давая весовым коэффициентам случайные приращения, и продолжают 
процесс обучения из другой точки. 

Часто процесс обучения приобретает характер длительного экспери- 
ментирования, в ходе которого пробуются различные оптимизационные 
алгоритмы с различными параметрами. В результате успех применения 
нейросетевых технологий ставится в зависимость от опыта и интуиции 
специалиста, количества и качества различных оптимизационных 
алгоритмов, имеющихся в его распоряжении. В связи с этим 
актуальным является развитие методов глобальной оптимизации, 
т.е. таких, которые позволяют находить глобальные экстремумы 
многоэкстремальных целевых функций. Среди множества возможных 
подходов на пути решения этой проблемы наиболее перспективными 
признаются генетические алгоритмы. 


6.4. ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ 


Все живое, что нас окружает в этом мире, и мы сами удивительно 
совершенны. Мы имеем оптимальное количество рук, ног, пальцев, 
внутренних органов, живем в среднем оптимальное количество лет, 
имеем оптимальные пропорции, оптимальный химический состав, 
строение и т.д. Много веков люди пытаются найти и объяснить 
источник этого совершенства, понять механизм его возникновения. 
Существуют древние учения и религии, объясняющие первопричину 
совершенства и гармонию мира. Современному же человеку наиболее 
близка для восприятия эволюционная теория, основы которой были 
заложены Чарльзом Дарвином в 1859г. в его знаменитой работе 


6.4. Генетические алгоритмы 123 


«Происхождение видов путем естественного отбора». Согласно эво- 
люционной теории, природа оптимизирует все живое благодаря двум 
биологическим механизмам — естественному отбору и генетическому 
наследованию. 

Суть естественного отбора заключается в том, что наиболее при- 
способленные особи лучше выживают и приносят больше потомства, 
чем менее приспособленные. 

Механизм генетического наследования состоит в следующем. 
Почти в каждой клетке любого живого организма имеется набор 
хромосом, несущих информацию об этом организме. Основная часть 
хромосомы — цепь ДНК (молекула дезоксирибонуклеиновой кисло- 
ты), которая состоит из четырех видов соединений — нуклеотидов, 
расположенных в определенной последовательности. Нуклеотиды 
обозначаются буквами А, Т, С и С, их порядок следования кодирует 
все генетические свойства организма. 

Ген — это отрезок цепи ДНК, отвечающий за определенное свойство 
особи, например за цвет глаз, тип волос, цвет кожи и т. д. Установлено, 
что вся совокупность генетических признаков человека кодируется 
с помощью примерно 60 тыс. генов, суммарная длина которых 
составляет более 90 млн нуклеотидов. 

При размножении живых организмов происходит слияние двух роди- 
тельских половых клеток: хромосомы родителей сближаются вплотную, 
затем их цепи ДНК разрываются в нескольких случайных местах и об- 
мениваются своими частями. Таким образом, молекулы ДНК потомков 
случайным образом приобретают гены как отца, так и матери. 

При наследовании возможны мутации — изменения генов в по- 
ловых клетках одного из родителей. Измененные гены передаются 
потомку и придают ему новые свойства, отличные от свойств роди- 
телей. Если эти новые свойства окажутся полезными, т. е. потомок 
будет более совершенен, более приспособлен к окружающей среде, то 
в процессе дальнейшего естественного отбора он выживет и создаст 
новое, более совершенное потомство. 

Таким образом, согласно современной генетической теории, источ- 
ником совершенствования биологических видов являются механизмы 
естественного отбора, изменчивости и наследственности. Именно они 
обеспечивают оптимизационный процесс, безраздельно господствую- 
щий во всей живой природе и являющийся неиссякаемым источником 
совершенства мира, источником его красоты и гармонии. 

В 1970-х гг. профессор Мичиганского университета (США) Дж. Хол- 
ланд [97] предпринял попытку алгоритмизации природного оптимиза- 
ционного процесса, включая механизмы естественного отбора, измен- 
чивости и наследственности. В алгоритмах Холланда в упрощенной 
форме была сохранена биологическая терминология, а сами алгорит- 
мы получили название генетические. Первоначально такие алгоритмы 
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= (и) є (ж) 


а) б) 


Рис. 6.7. Распределение точек по поверхности целевой функции, соответ- 
ствующих хромосомам особей начальной популяции (а) и особей после 
смены и поколений (6) 


создавались в познавательных целях, чтобы посмотреть, что получит- 
ся при моделировании естественной жизни на компьютере, а заодно 
лишний раз убедиться в справедливости теории Дарвина. Эти модели 
представляли и представляют интерес для ученых-биологов, которые 
назвали новое научное направление 4/1 сіаї [ШМе, что в переводе 
означает Искусственная жизнь. Впоследствии выяснилось, что ге- 
нетические алгоритмы прекрасно справляются с поиском глобальных 
экстремумов многоэкстремальных функций, в частности — функций 
ошибок нейронных сетей. 

Генетические алгоритмы, предназначенные для обучения нейросе- 
тей (оптимизации функции ошибки) работают следующим образом. 
Сначала создается некоторая начальная популяция особей. Каждая 
особь имеет свою собственную хромосому — вектор весовых коэф- 
фициентов нейронной сети м = [и, м›,...№,|7. Для каждой особи 
вычисляется функция ошибок &(и) (которую в данном случае назы- 
вают функцией фитнеса, или целевой функцией), являющаяся мерой 
выживаемости особи, ее приспособленности к окружающей среде 
и к существованию. 

Для удобства дальнейшего изложения вместо задачи минимиза- 
ции будем рассматривать задачу максимизации, т. е. вместо минимума 
будем искать максимум. Как известно, эти две задачи легко превра- 
щаются одна в другую путем смены знака у целевой функции 5(и). 

Первоначальная популяция равномерно распределяется в простран- 
стве оптимизируемых параметров. Таким образом, точки, соответству- 
ющие каждой особи, более или менее равномерно распределяются по 
поверхности целевой функции, как показано на рис. 6.7, а. 

Отбор особей для скрещивания, необходимого для создания нового 
поколения, может основываться на различных принципах. Одним из 
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Хромосома отца Хромосома 1-го потомка 
22 АА 
Хромосома матери === Хромосома 2-го потомка 


Рис. 6.8. Операция скрещивания, применяемая в генетических алгоритмах 


наиболее распространенных считается принцип элитарности, соглас- 
но которому к скрещиванию допускаются наиболее приспособленные 
особи, а наихудшие отбраковываются и заменяются вновь создавае- 
мым потомством. Обычно процесс скрещивания состоит в том, что 
хромосомы родителей случайным образом рассекаются на две нерав- 
ные части, после чего они соединяются так, что хромосомы потомков 
содержат часть хромосомы отца и часть хромосомы матери, как по- 
казано на рис. 6.8. В ситуации, изображенной на этом рисунке, после 
скрещивания хромосомы отца (фрагменты а! и аз) с хромосомой ма- 
тери (фрагменты Ру и Ё›) образовалась пара новых хромосом, первая 
из которых имеет фрагменты о и Ё», а вторая — фрагменты Ё! и а2. 

Следующая генетическая операция называется мутацией и состоит 
в замене значения некоторого случайным образом выбранного элемен- 
та (гена) случайно выбранного вектора (особи) на новое, случайным 
образом заданное допустимое значение. Мутации обычно подвергается 
не более 1...5% бит хромосом всей популяции. 

В результате всех этих генетических операций формируется новое 
поколение, число особей которого обычно равно числу особей преды- 
дущего поколения. Как показывает опыт, новые поколения, созданные 
в результате отбора, скрещивания и мутаций, в среднем имеют боль- 
шие значения целевой функции (как показано на рис. 6.7, 6), т. е. 
новые поколения являются более совершенными. 

Процесс смены поколений завершается после достижения заданно- 
го количества итераций (7 > {шах, как показано на блок-схеме рис. 6.9) 
или после того, как одна из особей приобретет заданное максималь- 
ное значение целевой функции. Эта особь является победителем, и ее 
хромосома принимается за окончательное решение оптимизационной 
задачи, найденное с помощью генетического алгоритма. 

В настоящее время известно множество вариантов генетических 
алгоритмов, различающихся параметрами и способами отбора, скре- 
щивания, мутаций. Практически во все современные нейропакеты 
генетические алгоритмы включены как эффективные инструменты обу- 
чения нейронных сетей. Появились нейропакеты, в которых в функцию 
фитнеса, помимо синаптических весов, добавлены параметры, харак- 
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1. Создание начальной популяции 


Завершение 


Рис. 6.9. Блок-схема генетического алгоритма 


теризующие структуру и тип нейросети. Таким образом, параллельно 
с обучением нейросети происходит процесс ее оптимизации. 

Однако в последнее время генетические алгоритмы нашли незави- 
симую от нейросетевых технологий область применения — они лежат 
в основе многих коммерческих пакетов, широко применяемых для 
решения разнообразных оптимизационных задач, возникающих в эко- 
номике, бизнесе, промышленности и других областях человеческой 
деятельности. 

Вместе с тем многие авторы в качестве недостатков называют 
сравнительно низкое быстродействие компьютерных программ, реа- 
лизующих генетические алгоритмы. Эти программы довольно уверенно 
находят глобальные экстремумы многоэкстремальных функций, однако 
в ряде случаев, особенно если речь идет об оптимизации одноэкс- 
тремальной функции, значительно уступают в скорости градиентным 
методам, как схематически показано на рис. 6.10. 

Попробуем объяснить недостаток генетических алгоритмов, обратив- 
шись к природным интерпретациям. Как мы убедились в предыдущем 
изложении, генетические алгоритмы в упрощенной форме моделиру- 
ют главные моменты механизма самосовершенствования всего живого, 
господствующего в дикой природе. Но если вспомнить историю, Чарль- 
за Дарвина многократно критиковали, прежде всего, за чрезмерную 
упрощенность его гипотез, которые фактически применимы только 
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Рис. 6.10. Сравнительная характеристика эффективности оптимизацион- 
ных методов по [31] 


для самых низших форм жизни. Легко заметить, что генетические 
алгоритмы не учитывают способности высокоразвитых биологических 
видов улучшать свои качества (совершенствоваться, повышать степень 
выживаемости — функцию фитнеса) в течение жизни. Например, че- 
ловек занимается спортом, развивая свои физические возможности; 
получает образование, усиливая умственный потенциал. В том и дру- 
гом случаях человек повышает значение своей функции фитнеса, не 
участвуя в скрещиваниях, размножении, мутациях и естественном от- 
боре. Причем такое саморазвитие и самоулучшение может происходить 
у различных видов как осознанно, так и неосознанно. Например, му- 
скулатуру можно укреплять целенаправленно, занимаясь в спортзале, 
а можно просто выполнять физическую работу. У животных мускулы 
укрепляются в процессе движения, когда они ищут пищу, охотятся 
или убегают от хищников. Таким образом, действие механизма само- 
улучшения, не учитываемого дарвиновской теорией, можно наблюдать 
не только у людей. Он характерен для широкого круга достаточно 
развитых живых организмов. Генетические же алгоритмы (как и само 
дарвиновское учение) этот дополнительный механизм не учитывают. 

Авторами работы [36] была произведена попытка дополнить тра- 
диционный генетический алгоритм механизмом социального само- 
улучшения особей, действующем в течение их жизней, а точнее — 
между рождениями и скрещиваниями. Имитировать механизм соци- 
ального самоулучшения можно, например, если позволить особям 
в промежутке между рождениями и скрещиваниями «подниматься» на 
вершины локальных экстремумов, которые эти особи «видят» и ко- 
торые им «доступны». Такой подъем можно осуществить, например, 
путем включения какого-либо градиентного алгоритма оптимизации 
на шагах генетического процесса, как предложено в [63] и изображено 
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1. Создание начальной популяции 


Рис. 6.11. Блок-схема социально-генетического алгоритма: в классическую 
схему генетического алгоритма (см. рис. 6.9) добавлен блок «5. Самоулуч- 
шение» 


на блок-схеме рис. 6.11. Как показали вычислительные эксперименты, 
выполненные в [36], во всех случаях новый социально-генетический 
алгоритм дал более точные результаты за меньшее время. 

Возвращаясь к обсуждению Дарвиновской теории, отметим, что 
в жизни, особенно в молодости, мы всегда стремимся чего-то до- 
стичь, подняться на вершины социальной лестницы, которые мы 
видим и которые нам представляются перспективными. Обычно нас 
окружает множество таких вершин, но какой из них отдать предпо- 
чтение, каждый решает сам. Так, окончив обучение в школе, молодые 
люди выбирают, что делать дальше: идти работать, создавать свой 
собственный бизнес, служить в армии, поступать в колледж или в уни- 
верситет. Все это локальные вершины функции фитнеса, на которые 
каждый взбирается самостоятельно, без помощи Чарльза Дарвина. Кто 
сделал правильный выбор и добился действительного успеха, чей экс- 
тремум оказался выше — решает Жизнь. К моменту таинства отбора 
и скрещивания Человек, в отличие от животного, подходит отнюдь 
не в том виде, в каком он родился, а с определенным багажом 
социальных критериев. 

Механизм оптимизации всего живого, действующий, согласно Дар- 
вину, в дикой природе, по нашему мнению, несколько отличается 
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от того, что происходит в человеческом обществе. Попытка допол- 
нить дарвиновскую эволюцию социальным фактором привела к тому, 
что новый социально-генетический алгоритм оказался значительно 
эффективнее традиционного генетического. 

На рис. 6.10 были приведены заимствованные из [31] графики эф- 
фективности применения оптимизационных методов для решения трех 
видов задач: комбинаторных, одноэкстремальных и многоэкстремаль- 
ных. Как видно из рисунка, генетические алгоритмы наиболее эф- 
фективны при решении комбинаторных и многоэкстремальных задач 
оптимизации; если же целевая функция имеет только один экстремум, 
то генетические алгоритмы уступают градиентным. 

Как показано в [36], предложенный в этой работе социально- 
генетический метод превосходит по эффективности традиционный 
генетический алгоритм как в случае одноэкстремальных, так и в слу- 
чаях многоэкстремальных целевых функций. В случае одноэкстремаль- 
ной функции социально-генетический метод практически вырождается 
в градиентный, так как всю работу поиска экстремума выполняет его 
градиентная составляющая. Поэтому эффективности их применения на 
одноэкстремальных задачах практически совпадают. На основании ска- 
занного, примерную эффективность нового метода на графиках рис. 6.10 
можно представить пунктирной линией, как изображено на рис. 6.12. 

В заключение отметим, что социально-генетический алгоритм доволь- 
но хорошо показал себя при обучении и оптимизации нейронных сетей 
и его можно рекомендовать разработчикам современных нейропакетов. 

Отметим также, что приведенная здесь попытка учета социального 
фактора [36, 63] является еще одним шагом на пути совершенство- 
вания искусственно-интеллектуальных парадигм путем более полного 
моделирования естественных механизмов, причем не только биологи- 
ческих и природных, но и социальных. 


Социально-генетический алгоритм 


Генетические алгоритмы 


Переборные методы 


Эффективность 


Градиентные методы 


х ЖА, 2х 2 


Комбинаторная Одноэкстре- Многоэкстремальная 
мальная 


Рис. 6.12. Сравнительная характеристика эффективности оптимизацион- 
ных методов по [36] 
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6.5. ДОПОЛНИТЕЛЬНЫЕ РЕКОМЕНДАЦИИ 
ПО ПРОЕКТИРОВАНИЮ И ОБУЧЕНИЮ 
ПЕРСЕПТРОНОВ 


Многие специалисты, занимающиеся практическим применением ней- 
росетевых технологий, склонны называть проектирование и обучение 
нейронных сетей скорее искусством, чем наукой. Действительно, 
несмотря на фундаментальный характер рассмотренных в этой главе 
теорем, несмотря на рекордные количества, строгость и красоту их до- 
казательств, программисты в своей практической работе часто руковод- 
ствуются так называемыми эвристическими правилами, рекомендация- 
ми своих коллег, собственной интуицией и только им одним известными 
приемами — таинственными Кпо\-по\. Приведем некоторые из них. 

Выбор входных параметров нейросетевой модели. От удачного 
выбора входных параметров нейросетевой модели во многом зави- 
сит успех ее создания. Прежде всего, необходимо понимать, что не 
все параметры предметной области влияют на выходной вектор У. 
Например, знание температуры тела вряд ли поможет в постановке 
диагноза больного, если задача состоит в выявлении у него только 
психических отклонений. 

Те параметры, которые не оказывают влияния на вектор У, на- 
зывают незначимыми для этого выходного вектора. Естественно, что 
незначимые параметры не следует включать в список параметров 
входного вектора Х. 

Однако на практике часто бывает трудно и даже невозможно 
установить, какие из параметров предметной области являются зна- 
чимыми, а какие нет. Поэтому на первом этапе мы рекомендуем 
включать в вектор Х как можно больше параметров, исключая только 
те, незначимость которых представляется очевидной. 

После первоначального создания и обучения нейронной сети незна- 
чимые параметры могут быть выявлены следующими тремя способами. 

1. Анализ значений весовых коэффициентов входных нейронов. 
Если окажется, что у какого-либо входного нейрона синаптические 
веса значительно меньше, чем у других нейронов обученной сети, 
то этот входной нейрон, скорее всего, соответствует незначимому 
параметру вектора Х. 

2. Возмущение значений входных параметров и анализ реакции се- 
ти на эти возмущения. Если обученная сеть не реагирует или слабо 
реагирует на изменения значения какого-либо входного параметра, то 
этот параметр не является значимым. 

3. Поочередное исключение входных нейронов и наблюдение за 
ошибкой обобщения сети. Если после исключения какого-либо вход- 
ного нейрона ошибка обобщения єт увеличилась, то входной пара- 
метр, соответствующий этому входному нейрону, является значимым. 
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Рис. 6.13. Пример изменения погрешности нейронной сети при пооче- 
редном исключении входных нейронов 


В противном случае входной параметр не является значимым и со- 
ответствующий ему входной нейрон можно исключить. 

Процесс выявления незначимых входных параметров рекомендуется 
сопровождать графической иллюстрацией — гистограммой (рис. 6.13), 
на которой нулевой столбец показывает погрешность обобщения сети 
при сохранении всех входных нейронов, первый столбец — погреш- 
ность обобщения сети при исключенном первом входном нейроне; 
второй столбец — погрешность при исключенном втором входном ней- 
роне и т. д. На рис. 6.13 третий нейрон сети не является значимым, 
поэтому его рекомендуется исключить. 

4. Иногда имеет смысл вместо поочередного исключения входных 
нейронов поочередно подавать на них произвольные сигналы датчи- 
ком случайных чисел. Автор этого метода [56] обосновывает его тем, 
что исключение входных нейронов соответствует случаю подачи на них 
нулевого сигнала. Но нулевой входной сигнал может быть обусловлен 
условиями конкретной задачи и иметь физический смысл, что, по 
мнению авторов, может привести к ошибочным оценкам значимости. 

После выявления и исключения входных нейронов, соответствующих 
незначимым параметрам, качество нейросети, как правило, несколько 
улучшается, так как снижается ее размерность. Однако надо понимать, 
что при слишком малом количестве входных параметров нейросети может 
не хватить данных для выявления закономерностей предметной области. 
В частности, могут появиться так называемые конфликтные примеры, 
имеющие одинаковые входные, но различные выходные параметры. 

Выявление конфликтных примеров. Конфликтными, или проти- 
воречивыми, будем называть примеры, имеющие одинаковые входные 
векторы и различающиеся выходные векторы. Например, конфликт- 
ными являются примеры: 2:2 = 4и 2.2 = 5. После обучения на таких 
примерах сеть усвоит: 2.2 = 4, 5. Погрешность обучения при этом со- 
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45% х 100% = 12,5% и никогда не станет ниже этой 


величины, какие бы методы обучения мы ни применяли. 

Наличие конфликтных примеров в обучающем множестве обыч- 
но является результатом закравшейся ошибки (как в нашем случае) 
либо некорректной постановки задачи. Например, при построении си- 
стемы медицинской диагностики входному параметру «Повышенная 
температура тела» могут соответствовать несколько диагнозов: «Анги- 
на», «ОРЗ», «Пневмония». Это значит, что при постановке задачи, 
помимо температуры, надо учитывать еще и другие значащие вход- 
ные параметры, такие как «Кашель», «Слабость», «Хрипы в легких», 
«Затемнения на рентгеновских снимках» и т. д. Добавление значащих 
входных параметров (и, соответственно, входных нейронов) позволя- 
ет избежать наличия конфликтных примеров в обучающем множестве 
и сделать содержательную постановку задачи корректной. 

Обнаружить конфликтные примеры можно путем визуального ана- 
лиза множества примеров предметной области, сервисными средствами 
программ-редакторов либо путем запуска специального алгоритма по- 
иска конфликтных примеров, имеющегося в некоторых нейропакетах. 

Определение необходимого количества примеров. Множество 
примеров поведения предметной области может формироваться из раз- 
личных источников. Это может быть информация из сети Интернет, 
из архивных материалов предприятий, из результатов социологических 
опросов и анкетирования и пр. Обычно считается, что чем больше 
примеров, тем лучше. Однако излишне болышое количество примеров 
приводит к неоправданным затратам машинного времени на обуче- 
ние сети. Автором работы [19] для определения объема обучающего 
множества рекомендуется эмпирическая формула: 


О=7. №. +15, (6.4) 


где №, — количество входных параметров нейросетевой модели; О — 
количество примеров обучающего множества. Однако, как показывает 
наш эмпирический опыт, эта формула более приемлема при построе- 
нии регрессионных математических моделей. Для нейронных же сетей 
достаточное количество примеров зачастую в 2—4 раза меньше, чем 
определенное по формуле (6.4). 

В практике нейросетевого моделирования нередки случаи, когда 
не удается собрать достаточное количество примеров поведения пред- 
метной области, и условие формулы (6.4) не выполняется, поэтому 
возникает необходимость более тщательного тестирования нейросете- 
вой модели. В этом случае рекомендуется прием, называемый мно- 
гократной перекрестной проверкой (тибіѓоіа сгоѕѕ-уаіаайоп). Суть 
этого приема заключается в следующем. 

Множество примеров предметной области, как обычно, разбивается 
на обучающее Г! и тестирующее Т в отношении 10:1. Нейронная 


ставит &; = 
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сеть обучается на примерах множества /1, а на примерах множе- 
ства Ту вычисляется ошибка тестирования =т;. Затем множества Ё 
и Т объединяются. Объединенное множество вновь разбивается на 
обучающее [> и тестирующее 75 в том же соотношении (10 : 1) та- 
ким образом, чтобы ранее входившие в 7 примеры в множестве 7> 
отсутствовали. Нейросеть обучается на множестве /2, а на множе- 
стве 7> вычисляется ошибка тестирования =т,. И так далее, всего 
до 10 раз. Если максимальная из єт, &7,, ..., ть Погрешность ока- 
зывается в пределах приемлемого значения, то любая из полученных 
нейросетей считается пригодной для последующего использования. 

Порядок представления обучающих примеров. При обучении 
сети методом обратного распространения ошибки или другими ме- 
тодами, рассмотренными в $ 6.3, обучающие примеры рекомендуется 
представлять не в порядке их следования от первого до последне- 
го, а выбирать случайным образом. По мнению некоторых специ- 
алистов [93], это придает алгоритму обучения более стохастический 
характер и в некоторых случаях позволяет избегать попадания в ло- 
кальные минимумы. 

Выявление выбросов. Под выбросами понимаются примеры по- 
ведения предметной области, которые в силу каких-либо случайных 
причин, не характерных для рассматриваемой предметной области, 
значительно отличаются по своим параметрам от другой статистиче- 
ской информации. Их появление может быть связано с ошибками, 
допущенными при сборе информации (например, забыли поставить 
ноль, в результате чего ошиблись на порядок) либо другими слу- 
чайными причинами (погрешностями измеряющих приборов, сбоев 
в работе оборудования, форс-мажорными обстоятельствами и т. д.), 
не отражающими закономерностей предметной области. 

Присутствие выбросов в статистических данных является весьма 
распространенным явлением, отрицательно влияющим на качество их 
последующей обработки и использования. Если в простейших случаях 
выбросы обнаруживаются сравнительно легко и даже видны нево- 
оруженным глазом, то в более сложных многомерных зависимостях 
при больших объемах информации выявление и удаление выбросов 
представляет собой непростую математическую проблему. 

В работе [57] для обнаружения выбросов в статистических дан- 
ных предлагается использовать персептрон, в частности его свойство 
плохо обучаться на примерах, имеющих выбросы, не подчиняющи- 
еся закономерностям предметных областей. Идея алгоритма состоит 
в поочередном исключении примеров из обучающего множества и на- 
блюдении за погрешностью нейросети, обученной на этих урезанных 
обучающих множествах. Если пример обучающего множества является 
выбросом и выпадает из закономерности, характерной для предметной 
области, то его удаление из обучающего множества приводит к умень- 
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шению погрешности обучения сети и повышению ее обобщающих 
свойств. Исключение обычных примеров существенного влияния на 
качество сети, как правило, не оказывает. 

Эту идею можно реализовать несколькими способами. Приведем 
описание одного из них, названного в [57] анализом ошибки обуче- 
ния. Этот метод основывается на том факте, что при удалении выброса 
из обучающего множества нейронной сети будет легче выявить зако- 
номерности предметной области, сеть быстрее и лучше обучится. При 
этом уменьшится среднеквадратичная ошибка обучения, вычисляемая 
после завершения процесса обучения по формуле 


1 а: 2 
70 рэрэ О — Яа) 

5, Маг] х 100%, (6.5) 
где уд — значение /-го выхода нейросети для 4-го обучающего при- 
мера; 4, — желаемое значение /-го выхода для 4-го обучающего 
примера; Ј — число нейронов в выходном слое; О — количество 
примеров в обучающем множестве. М [4,;| — математическое ожида- 
ние всех желаемых выходов на всех обучающих примерах. 


В качестве демонстрационного примера возьмем обучающее мно- 
жество из девяти компонент, помещенных в табл. 6.1. Заметим, что 
третий пример в этом множестве выпадает из общей линейной зако- 
номерности и, следовательно, его можно рассматривать как выброс. 

На рис. 6.14 приведена гистограмма, полученная в результате ра- 
боты предлагаемого алгоритма. Здесь /-й столбец (7 = 1, 2, ..., 9) 
изображает значение среднеквадратичной ошибки (6.5) при обучении 
сети на обучающем множестве с исключенным і-м примером. Как 
видно из рисунка, при исключении из обучающего множества тре- 
тьего примера, являющегося выбросом, среднеквадратичная ошибка 
значительно уменьшается. 

Для сравнения на рис. 6.15 приведена аналогичная гистограмма 
для обучающих примеров той же предметной области (см. табл. 6.1), 
но не имеющих выбросов, поскольку д; = 3,0. Среднеквадратичные 
ошибки обучения сети здесь распределились более равномерно. 

Отметим, что вид гистограммы на рис. 6.14 зависит от структуры 
нейронной сети. В данном случае использован персептрон с дву- 
мя сигмоидными нейронами на единственном скрытом слое. При 
увеличении числа скрытых нейронов разница между высотой столб- 
цов гистограммы уменьшается, вследствие этого «плохие» примеры 
становятся не столь заметными. Поэтому для обнаружения посторон- 
них выбросов рекомендуется использовать нейросети с минимальным 
количеством нейронов. 

Выбор активационных функций. Многие авторы рекоменду- 
ют отдавать предпочтение активационным функциям, обладаю- 
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Таблииа 6.1 
Обучающее множество с выбросом 
в третьем примере 
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Рис. 6.14. Распределение среднеквадратичной ошибки обучения є; при по- 
очередном исключении примеров обучающего множества, представленного 
в табл. 6.1 


щим свойством антисимметрии, для которых выполняется равен- 
ство у(—5) = —у(5). Таким свойством обладают, например, функции: 


у= теб и у= 1һ 05, которые также называют сигмоидными. 
В работе [54] рекомендуется функция, предложенная Ле- Каном: 


у= аЬ), (6.6) 


где а = 1,7159; Б = 2/3. При таких параметрах функция гиперболи- 
ческого тангенса также имеет вид сигмоиды, но отличается рядом 
полезных свойств: 

орти) 

2) в начале координат первая производная близка к единице; 
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Рис. 6.15. Пример распределения среднеквадратичной ошибки обучения 
єг при поочередном исключении примеров обучающего множества, не 
имеющего выбросов 


3) вторая производная достигает своего максимального значения 
при 5 = 1. 

Авторы работы [92] предлагают логарифмическую активационную 
функцию у = ш(5+ ү,52 + 1). Эта функция, в отличие от функции Ле- 
Кана и других сигмоидных функций, имеет неограниченную область 
изменения, что позволяет избежать нежелательного эффекта, называ- 
емого параличом сети. Как уже отмечалось, явление паралича сети 
состоит в потере чувствительности сети к вариациям весовых коэф- 
фициентов. Это сопровождается замиранием процесса обучения при 
попадании взвешенных сумм входных сигналов нейрона в область 
насыщения сигмоиды. 

Инициализация синаптических весов. Согласно методике обу- 
чения персептрона, начальные значения сил синаптических связей 
задаются датчиком случайных чисел. По мнению авторов работы [92], 
во избежание наступления паралича сети желательно, чтобы при этих 
начальных значениях нейроны сети индуцировали значения, лежа- 
щие где-то в переходе между линейной частью сигмоидной функции 
активации и областью насыщения. Согласно расчетам [92], для функ- 
ции активации Ле-Кана эта цель будет достигнута, если равномерное 
распределение, из которого выбираются начальные значения синапти- 
ческих весов, задавать специальным образом. А именно, распределение 
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должно иметь нулевое среднее значение и дисперсию, обратную квад- 
ратному корню из количества синаптических связей нейрона. 
Предобработка обучающих примеров и интерпретация отве- 
тов. Параметры, описывающие предметную область, могут иметь 
самый разнообразный характер. Это могут быть числа с различными 
диапазонами изменений, могут быть качественные характеристики, 
такие как цвет волос и глаз пациента, могут быть даты, содержащие 
число, месяц, год, могут быть графические объекты. Поскольку ней- 
ронная сеть в состоянии обрабатывать только числа, то вся нечисловая 
информация должна быть закодирована в числовом виде. Числовую ин- 
формацию, приготовленную для нейросетевой обработки, желательно 
нормализовать, т.е. выровнять диапазоны изменения величин, напри- 
мер ограничив их интервалом [—1, 1]. Сделать это можно с помощью 
простейшего линейного преобразования: 
хи = "итп (В 4) +А, (6.7) 


Хп тах — Хи тіп 
где хи и х, — значения исходного и нормализованного и-го параметра 
предметной области, подаваемого на и-й входной нейрон нейро- 
сети; [хишшь, Хишах| — реальный диапазон изменения и-го параметра; 
ГА, В] — приемлемый диапазон изменения входных сигналов, например 
=-1, В=1. 

Желаемые выходные сигналы персептрона также должны быть за- 
кодированы в приемлемой форме и нормализованы в приемлемом 
диапазоне [а, 6]. Это значит, что при формировании обучающего век- 
тора Р следует применить формулу нормализации, аналогичную (6.7): 


аи = Чт — Чтпив (В А)+А, (6.8) 


ат тах — а; тіп 


где 4» и 4„ — заданное и нормализованное значение т-й компо- 
ненты вектора Р. Очень важно, чтобы желаемые выходные сигналы 
после нормализации укладывались с некоторым запасом = в область 
значений сигмоидной функции активации. В противном случае может 
возникнуть паралич сети — алгоритм обучения устремит синаптиче- 
ские веса к бесконечности и не сможет обеспечить снижение ошибки 
обучения. Во избежание этого эффекта в [92] для случая использо- 
вания активационной функции Ле-Кана (6.6) рекомендуется задавать 
А= -а+ $, В = в. где 5 = 0, 7159. 

Обученный на таком обучающем множестве персептрон будет фор- 
мировать выходной вектор У, содержащий значения, приведенные 
к диапазону [4, В|. Поэтому к ним должно быть применено преоб- 
разование, обратное преобразованию (6.8): 


Ут = ае (Чт тах — Чт тіп) ЗЕ Чт тіп · (6.9) 


Таким образом, персептрон можно применять для моделирования 
предметной области, описываемой числовыми параметрами любого 
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диапазона. При этом входные и выходные параметры желательно нор- 
мализовать — преобразовать к приемлемым диапазонам. Естественно, 
что ответы персептрона следует денормализовать путем применения 
обратного преобразования. 

Рассмотрим возможности интерпретации ответов персептрона при 
решении задач классификации. Примеры решения задач классифика- 
ции приводились ранее. Это задачи постановки диагнозов сложных 
технических устройств (см. $ 5.3) и диагнозов заболеваний человека 
(см. $ 5.2). В этих случаях персептроны строились таким образом, что 
каждому классу (каждому диагнозу) отводился свой выходной нейрон. 
Размерность обучающих векторов В совпадала с количеством выход- 
ных нейронов, а его компонентам 4», задавалось значение 1, если для 
подготовленного вектора Х имел место диагноз, за который «отвеча- 
ет» т-й выходной нейрон, и значение 0, если диагноз был другим. 
При появлении на входе персептрона нового вектора параметров, не 
встречавшихся в обучающем множестве, персептрон вычислял вектор 
У, который нужно интерпретировать с целью получения заключе- 
ния о классификации объекта. Наиболее распространенный способ 
интерпретации состоит в том, что выходному сигналу т-го нейрона 
присваивается значение 1, если у» 2 0,5, и О— в противном случае. 
Причем логично полагать, что чем выше значение у», тем более ве- 
роятна правильность постановки диагноза т-й болезни или диагноза 
неисправности. И наоборот, чем меньше значение у„, тем вероятнее 
отсутствие т-й болезни или неисправности. В этом случае говорят, 
что ум можно расценивать как функиию принадлежности объекта 
какому-либо классу или как меру уверенности ответа персептрона. 

Таким образом, мы видим, что персептрон дает нечеткий ответ, 
оценивая вероятность возможной ошибки. Подобно добросовестному 
врачу-диагносту, персептрон может ответить, что у больного наверняка 
есть инфаркт миокарда, однако с вероятностью 65% он подозревает, 
что у больного был порок сердца, и на 90% персептрон уверен, что 
ишемической болезни сердца у больного нет. 

Приведем пример интерпретации ответов нейронной сети, решаю- 
щей задачу детекции лжи, если эта сеть имеет один выходной нейрон, 
а в множестве обучающих примеров правдивый ответ клиента коди- 
ровался единицей, а ложный — нулем. Тогда выходной сигнал сети 
у = 0,9 можно интерпретировать 90%-й уверенностью сети в том, что 
клиент сказал правду. В случае у = 0,75 степень уверенности сети 
в правдивом ответе составляет 75%, а случай у = 1,2 можно интерпре- 
тировать как абсолютную уверенность (120%) сети в том, что ответ 
клиента является правдой. Случай у = 0,4 интерпретируется 60%-й 
уверенностью сети в том, что ответ клиента является ложью. Случай 
у = 0,1 соответствует 90%-й уверенности в ложном ответе клиента, 
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а случай у = —0,1 означает абсолютную (на 110%) уверенность сети 
в ложности ответа клиента. 

В заключение отметим, что, помимо рассмотренных способов под- 
готовки данных и интерпретации ответов нейросетей, существует 
множество других приемов [13—15, 41], преследующих аналогичные 
цели. 

Добавление шума в обучающие примеры. Некоторые авторы 
[41] полагают, что улучшить обобщающие свойства сети можно не 
только за счет оптимизации ее архитектуры, но и путем специаль- 
ной подготовки множества обучающих примеров. В частности, путем 
добавления шума в обучающие примеры можно добиться сниже- 
ния чувствительности сети к вариациям входных сигналов, если эти 
вариации находятся в определенных допустимых пределах. 

Вспомним, что процесс обучения персептрона выполняется на 
множестве обучающих примеров — пар входных и выходных векто- 
ров: Х.—Ву, 4 = 1,2,..., О. Напомним, что 4 — номер обучающего 
примера, а О— их общее количество. 

При обучении сети минимизируется квадратичная невязка между 
желаемыми выходными векторами РБ. и теми значениями этих векто- 
ров, которые образуются на выходе персептрона в действительности 
У., т.е. минимизируется целевая функция 


[0] 
2 
ғ= 2 Ур, – У. (6.10) 
а=1 


Персептрон выполняет многомерное отображение входного вектора 
Ха на вектор Уд, т.е. У. = Г(Хо), где Ё — матрица, составленная 
из функций активации нейронов. С учетом этого равенство (6.10) 
перепишем в виде: 


о 
== У Ра. (6.11) 
=1 


Добавление шума в обучающие примеры предполагает модификацию 
входного вектора — добавление к нему некоторого случайного векто- 
ра ба, математическое ожидание которого равно нулю. Таким образом, 
вместо целевой функции (6.11) минимизируется целевая функция 


[0] 
== 1 У |р, -Л(Ха+ 64)". (6.12) 
4=1 


В результате сеть тренируется не только на примерах обучающе- 
го множества, но и на таких примерах, в которых входной вектор 
имеет незначительные случайные искажения. Поэтому обобщающие 
свойства сети улучшаются. 

В заключение отметим, что добавление шума в обучающее множе- 
ство, как правило, дает положительные результаты в случае больших 
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(более 300 элементов) обучающих множеств, причем дисперсия случай- 
ных параметров вектора шума д. должна подбираться индивидуально 
для каждой конкретной задачи. 

Декомпозиция сети по числу выходных нейронов. При разработ- 
ке нейросетевых математических моделей с несколькими выходными 
параметрами иногда бывает полезно применять прием, заключающийся 
в том, что вместо классической схемы нейронной сети персептрон- 
ного типа с № входами и М выходами (рис. 6.16, слева) использовать 
М нейросетей с № входами и одним выходом (рис. 6.16, справа), 
объединенных общим интерфейсом. Структуру каждой такой сети, 
естественно, следует оптимизировать отдельно из условия обеспече- 
ния минимальности ошибки тестирования каждой сети. 

Вычислительные эксперименты показали, что применение указан- 
ного приема, как правило, позволяет снижать общую погрешность 
нейросетевых моделей на 3—6%. 


Рис. 6.16. Вместо классической схемы персептрона с № входами и М вы- 
ходами применяются М персептронов с № входами и одним выходом, 
объединенных общим интерфейсом 
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6.6. АЛГОРИТМ 
ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ 
МЕТОДОМ НЕЙРОСЕТЕВОГО 
МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ 


Завершая изучение метода математического моделирования на осно- 
ве персептронов, в качестве итога приведем примерный алгоритм его 
применения (рис. 6.17). 


Структура Хи В 


2. Формирование примеров 
Содержимое Хи В 


3. Проектирование сети 
Структура сети 


4. Обучение сети 


5. Проверка и оптимизация сети 
Готовая модель 
(ИИС) 
6. Исследование предметной области 
Результаты 
моделирования 


Рис. 6.17. Рекомендуемая схема применения метода нейросетевого мате- 
матического моделирования 
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Этап 1. Постановка задачи 


На этом этапе определяются цели моделирования, устанавливаются 
входные и выходные параметры модели, а также структура (состав 
и длина) входного вектора ЖХ, и выходного вектора ДР. 

В качестве компонент входного вектора Х важно выбрать зна- 
чимые параметры — те, которые оказывают существенное влияние на 
результат. Если же имеются сомнения в значимости того или ино- 
го входного параметра, то его лучше включить во входной вектор, 
рассчитывая, что в последующем с помощью создаваемой нейросети 
можно будет оценить степень влияния этого параметра на резуль- 
тат. Если его влияние окажется слабым, то в последующей работе 
исключить этот параметр. 

Выходной вектор ВР формируется таким, чтобы его компоненты 
давали возможность получить ответы на все поставленные вопросы. 

Компоненты входного вектора Х и выходного вектора В пред- 
ставляют собой числа. Это могут быть значения каких-либо величин, 
например температуры тела, артериального давления, частоты пульса 
и др. Это могут быть также числа, кодирующие наличие или отсут- 
ствие каких-либо признаков, например единица, если пол мужской, 
и двойка, если пол женский. В некоторых случаях, если данные нечет- 
кие и есть сомнение в их правильности, полезно кодировать оценку их 
вероятности. Например, если у врача есть сомнения в правильности 
выставляемого диагноза, то он может закодировать не сам диагноз, 
а его вероятность или степень развития болезни, применяя десяти- 
или стобалльную систему оценки. 


Этап 2. Формирование примеров 


На этом этапе формируется содержимое входных и выходных векто- 
ров. В результате создается множество пар Х„.-—ВБ. (9 = 1,..., О), где 
такая пара составляет пример, характеризующий предметную область. 
Значения компонент векторов Ху и В. могут быть сформированы 
различными способами: получены путем проведения социологических 
опросов, экспертных оценок, анкетирования, специальных экспери- 
ментов над предметной областью, взяты из средств массовой ин- 
формации, из архивных материалов организаций, социальных сетей, 
интернет-форумов и из других источников. 

Числовую информацию, приготовленную для ввода в нейросеть, 
желательно нормировать — привести к диапазону [0,1] или [-1, 1]. 

Все множество примеров разбивают на обучающее Ё и тестирую- 
шее 7 (см. рис. 6.1). Обычно объем тестирующего множества выбирают 
не менее 10—15 % от обучающего. Необходимый минимальный объем 
обучающего множества зависит от задачи. Ранее для расчета мини- 
мально допустимого объема обучающего множества рекомендовалась 
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формула: О = 7: М, + 15 [19], в которой №, — количество входных 
параметров нейросетевой модели. Однако в практике применения 
нейросетевых технологий встречаются случаи, когда для решения за- 
дач хватает значительно меньшего количества обучающих примеров. 

Помимо обучающего множества Ё и тестирующего множества 7, 
формируется еще и подтверждающее множество Р из примеров, при- 
надлежащих той же самой предметной области, но не пересекающееся 
ни с множеством Ё, ни с множеством 7 (см. рис. 6.1). Объем множе- 
ства Р обычно рекомендуется не более 10% от объема множества Ё. 


Этап 3. Первоначальное проектирование сети 


Структура персептрона выбирается из следующих соображений: 

1) количество входных нейронов №, должно быть равно размерно- 
сти входного вектора Х; 

2) количество выходных нейронов №; должно быть равно размер- 
ности выходного вектора О; 

3) количество скрытых слоев, согласно теореме Арнольда — Кол- 
могорова — Хехт-Нильсена (см. $ 6.1), должно быть не менее 
одного; на последующих этапах количество скрытых слоев мо- 
жет корректироваться, если это позволит улучшить качество 
работы сети; 

4) количество нейронов в скрытых слоях первоначально рассчиты- 
вается с помощью формул (6.1), (6.2); на последующих этапах 
количество нейронов в скрытых слоях также может корректи- 
роваться, если это позволит улучшить качество работы сети; 

5) активационные функции скрытых нейронов, согласно теореме 
Арнольда — Колмогорова — Хехт-Нильсена, рекомендуется задать 
сигмоидными, однако в дальнейшем их вид может быть изменен, 
если это позволит улучшить качество работы сети. 


При корректировке структуры персептрона следует иметь в ви- 
ду, что увеличение количества скрытых нейронов обычно позволяет 
добиться меньшей ошибки обучения. Однако чрезмерное его увели- 
чение приводит к эффекту гиперразмерности — потере обобщающих 
свойств сети, выражающейся в возрастании ошибки обобщения (те- 
стирования). 


Этап 4. Обучение сети 


Обучение сети — очень важный, но не окончательный этап создания 
нейросетевой математической модели. Цель обучения — подобрать си- 
наптические веса у; так, чтобы на каждый входной вектор Ха мно- 
жества обучающих примеров сеть выдавала вектор Ү,;, минимально 
отличающийся от заданного выходного вектора Р.. Эта цель дости- 
гается путем использования алгоритмов обучения нейронной сети. 
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Рис. 6.18. Характерные кривые зависимости ошибки обучения 5г от чис- 
ла эпох # в случае, когда сеть обучается успешно (а) и когда процесс 
обучения не дает желаемого результата (6) 


Характерная кривая обучения — зависимость ошибок обучения от ко- 
личества эпох обучения — приведена на рис. 6.18, а. Однако может 
случиться, что сеть «не захочет» обучаться: ошибка обучения с увели- 
чением количества эпох не будет стремиться к нулю (см. рис. 6.18,6). 
Причинами этого нежелательного явления могут быть следующие. 

1-я причина. Недостаточное количество скрытых слоев и скрытых 
нейронов — тогда рекомендуется увеличить их количество. 

2-я причина. Наличие в обучающем множестве иротиворечащих 
друг другу (конфликтных) примеров, когда одним и тем же наборам 
входных параметров соответствуют разные наборы выходных пара- 
метров. Например, одним и тем же симптомам соответствуют разные 
диагнозы заболеваний. Обнаружить такие примеры в обучающем мно- 
жестве можно путем его визуального анализа или путем применения 
специальных программ. Затем следует разобраться в причинах воз- 
никновения конфликтных примеров: некоторые из них могут просто 
оказаться ошибочными, и их нужно удалить. Другая причина может 
быть связана с тем, что в самой структуре входного вектора отсут- 
ствуют какие-то параметры (например, возраст больного, рост, вес, 
цвет его глаз и др.), также оказывающие влияние на диагноз. В этом 
случае рекомендуется вернуться на этап 1 алгоритма (см. рис. 6.17) 
и пересмотреть постановку задачи, увеличить размерность входно- 
го вектора Х, добавив дополнительные параметры, которые своими 
значениями обеспечат непротиворечивость примеров обучающего мно- 
жества. 

3-я причина. Попадание в локальный минимум. Эта проблема 
связана с тем, что поверхность функции-ошибки персептрона, схема- 
тично изображенная на рис. 6.6, имеет достаточно сложный характер 
со множеством мелких «ямочек», называемых локальными миниму- 
мами. Процесс обучения персептрона состоит в движении по этой 
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поверхности небольшими шагами в сторону антиградиента, т. е. в сто- 
рону наибольшего наклона поверхности функции-ошибки. Естествен- 
но, что, опускаясь таким образом по поверхности функции-ошибки, 
можно «застрять» в каком-либо мелком локальном минимуме, не до- 
стигнув самого глубокого минимума, называемого глобальным. В этом 
случае рекомендуется попробовать заново начать процесс обучения из 
другой начальной точки или сменить алгоритм обучения нейросети. 

4-я причина. Наличие в множестве примеров поведения предмет- 
ной области посторонних выбросов — примеров, которые не подчиня- 
ются закономерностям предметной области и значительно отличаются 
по своим параметрам от другой статистической информации, напри- 
мер, вследствие закравшихся ошибок. Рекомендуется выявить такие 
примеры, например, с помощью методики [57] (см. $ 6.5), проанализи- 
ровать их на предмет наличия ошибок и, если таковые обнаружатся — 
исправить ошибки или удалить выбросы. 

5-я причина. Паралич сети. В этом случае процесс обучения «за- 
мирает» в результате неуправляемого возрастания синаптических весов 
и соответствующего возрастания аргументов активационных функций. 
Следствием является попадание в область насыщения, где производные 
от сигмоидных функций близки к нулю. Рекомендуется использовать 
активационные функции, которые не имеют горизонтальных асимптот, 
например логарифмические (см. $ 6.5). Другой вариант — попробовать 
провести нормализацию чисел, формирующих примеры предметной 
области. 

6-я причина. При слишком большой скорости обучения может 
потеряться устойчивость итерационного процесса, тогда рекомендуется 
уменьшить ее. 

Заметим, что в практике нейросетевого моделирования обычно 
случается так, что не удается установить точную причину отсутствия 
сходимости процесса обучения нейронных сетей. Остается только пред- 
полагать эти причины и поочередно принимать меры по устранению 
возникших нежелательных явлений, т.е. выполнять рекомендации, 
указанные в приведенных выше шести пунктах. 


Этап 5. Проверка и оптимизация сети 


Проверка обобщающих свойств сети (иногда данный этап называ- 
ют тестированием сети) производится на тестирующем множестве 
примеров, т. е. на тех примерах, которые не были использованы при 
обучении сети. Результаты тестирования полезно представить графи- 
чески в виде гистограммы, на которой значения желаемых выходов 
персептрона ДР. сопоставлены с действительными (прогнозными) У. — 
теми, которые вычислил персептрон. Пример такой гистограммы при- 
веден на рис. 6.19. 
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Рис. 6.19. Пример гистограммы, показывающей соотношение желаемых 
выходов сети с действительными (прогнозными) 


Если разница между компонентами желаемого выходного вектора 
Р, и действительного выходного вектора У. окажется незначитель- 
ной, то можно переходить к следующему, этапу 6, не выполняя 
оптимизацию сети. Однако, чтобы лишний раз убедиться в адекват- 
ности разрабатываемой нейросетевой математической модели, полезно 
вернуться на этап 2 и те примеры, которые были тестирующими (ли- 
бо часть тестирующих примеров), включить в обучающее множество, 
а часть примеров, бывших обучающими, сделать тестирующими. После 
этого снова повторить этапы 3, 4 и 5. 

Если же погрешность обобщения сети окажется неприемлемо боль- 
шой, то надо попытаться оптимизировать сеть. Эта операция состоит 
в подборе наиболее подходящей для данной задачи структуры сети — 
количества скрытых слоев, количества скрытых нейронов, количества 
синаптических связей, а также вида и параметров активационных функ- 
ций нейронов. В некоторых нейропакетах предусмотрена автоматическая 
оптимизация сети, но бывает полезно выполнить такую оптимизацию 
вручную, построив график зависимости погрешности обобщения єт 
от числа скрытых нейронов (см. рис. 6.2) и от других параметров пер- 
септрона, а затем с помощью этих графиков выбрать структуру сети, 
обеспечивающую минимальную погрешность обобщения. 

При выборе оптимальной структуры сети следует помнить, что 
цель оптимизации сети состоит в минимизации погрешности обоб- 
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щения &т, но не погрешности обучения =. Именно по величине 
погрешности обобщения судят о качестве сети, о ее обобщающих 
и, следовательно, прогностических свойствах. Погрешность же обуче- 
ния — это всего лишь промежуточный результат. Желательно, чтобы 
она была небольшой, но добиваться самого минимального ее значе- 
ния вовсе не обязательно и даже вредно, поскольку, как видно из 
графиков рис. 6.2, это приводит к эффекту переобучения, т. е. росту 
погрешности обобщения. 

Понятно, что оптимизация нейронной сети подразумевает много- 
кратные возвраты назад на этапы 4, 3, 2 или даже на этап 1. На этапе 1 
заново выполняется постановка задачи, включающая переоценку зна- 
чимости входных параметров с последующим их сокращением, или, 
наоборот, добавлением. Напомним, что малозначимые входные пара- 
метры могут быть выявлены с помощью разрабатываемой нейросети 
путем поочередного исключения входных параметров и наблюдени- 
ем за погрешностью обобщения. Если при исключении какого-либо 
входного параметра погрешность обобщения нейронной сети возрас- 
тет, то этот параметр является значимым для данной математической 
модели. В противном случае параметр не является значимым, и его 
не следует учитывать при постановке задачи. 

После оптимизации сети ее обобщающие свойства рекомендуется 
проверить на примерах подтверждающего множества Р. Дело в том, 
что в процессе оптимизации сеть может «приспособиться» к примерам 
тестирующего множества. Если эти примеры по каким-либо причинам 
не характерны для всей предметной области, то на других примерах, 
которых не было ни в тестирующем, ни в обучающем множествах, 
она может дать неожиданно большую ошибку. Для исключения та- 
кого явления, а также чтобы окончательно убедиться в адекватности 
разрабатываемой математической модели, вычисляют ошибку иро- 
гнозирования сети &р на подтверждающем множестве, т.е. на тех 
примерах, которые не участвовали ни в обучении, ни в тестировании. 

Результатом оптимизации и проверки сети является готовая к ис- 
пользованию нейросетевая математическая модель предметной об- 
ласти — интеллектуальная информационная система (ИИС). 


Этап 6. Исследование предметной области — 
интеллектуальный анализ данных 


Путем проведения вычислительных экспериментов над математической 
нейросетевой моделью достигаются цели моделирования и находят- 
ся ответы на поставленные вопросы. Например, могут быть решены 
такие задачи, как оптимизация моделируемого объекта, прогнозиро- 
вание его будущих свойств, выявление закономерностей предметной 
области и др. 
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Нейросетевая математическая модель, если она правильно спроек- 
тирована и обучена, «впитала в себя» закономерности моделируемой 
предметной области. Она реагирует на изменение входных параметров 
и ведет себя точно так же, как вела бы себя сама предметная об- 
ласть. Поэтому над такой моделью надо поставить как можно больше 
экспериментов. Можно попробовать поменять некоторые из входных 
параметров и посмотреть, как при этом меняются значения выходного 
вектора У. Например, меняя возраст кандидата в президенты, мож- 
но пронаблюдать за изменением его рейтинга, как это было сделано 
в $ 5.6. Надо постараться извлечь из этих виртуальных экспериментов 
как можно больше полезной информации. 

Часто бывает полезно графически изображать зависимости вы- 
ходных параметров модели от входных. Например на рис. 5.6 были 
построены зависимости рейтингов Д. А. Медведева и В. В. Жиринов- 
ского от их возраста, а на рис. 5.7 — гистограмма, позволяющая давать 
практические рекомендации по повышению политического рейтинга 
И. М. Хакамады. Эти интересные результаты и выводы были получены 
путем исследования предметной области (политического процесса — 
выборов президента страны) с помощью нейросетевой математиче- 
ской модели. Результаты моделирования полезно представлять в виде 
объемных фигур, как например на рис. 5.8. 

Выполняя исследования предметной области с помощью нейросете- 
вой математической модели, следует понимать, что во многих задачах 
входные параметры обычно коррелированны между собой. Например, 
при прогнозировании здоровья пациента на будущие периоды време- 
ни (см. $ 5.2) недостаточно изменять только один входной параметр, 
отвечающий за его возраст, поскольку с возрастом обязательно из- 
меняются другие его параметры — содержание холестерина и сахара 
в крови, артериальное давление и др. 

Кроме того, следует помнить, что нейронные сети часто выяв- 
ляют так называемые «ложные корреляционные зависимости». По 
этому поводу уместно привести классический пример. Однажды ме- 
тодом интеллектуального анализа статистической информации было 
установлено, что люди, злоупотребляющие кофе, чаше других боле- 
ют онкологическими заболеваниями. В то же время, известно, что 
кофе не содержит канцерогенных веществ. Объяснение этого парадок- 
са нашлось, когда обнаружили, что за чашкой кофе часто следовала 
выкуренная сигарета. Она-то и явилась причиной онкозаболеваний. 

В заключение укажем, что алгоритм создания интеллектуальной 
системы и ее применения для интеллектуального анализа данных, 
приведенный на рис. 6.17, апробирован при решении многих практи- 
ческих задач и представляется вполне эффективным. Однако в каж- 
дом конкретном случае, а также в зависимости от опыта, навыков 
и предпочтений разработчика интеллектуальной системы возможны 
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отклонения от этого алгоритма. Например, если у разработчика хо- 
рошо развита интуиция или наработаны собственные алгоритмы для 
определения количества нейронов в скрытых слоях, то совсем не обяза- 
тельным является использование формулы Арнольда — Колмогорова — 
Хехт-Нильсена. 


Контрольные вопросы и задания к $ 6.6 


1. 


2. 


13. 


Перечислите этапы создания нейросетевой математической мо- 
дели предметной области. 

Как формируется структура входного вектора Х и выходного 
вектора 0? 

Перечислите способы формирования содержимого пар векторов 
Х.—ВБ.. 

Как выполняется проектирование сети? 

В чем состоит цель обучения сети и как она достигается? 
Назовите шесть причин, по которым сеть может не поддаваться 
обучению. 

В чем состоит цель тестирования сети? 

В чем состоит цель оптимизации сети? 

В каких случаях используется подтверждающее множество при- 
меров, и можно ли без него обойтись? 

Приведите примеры ложных корреляционных зависимостей. 
Зайдите на сайт уму.ТА1.ги, скачайте и выполните все лабо- 
раторные работы. При выполнении лабораторных работ полезно 
использовать книги [73, 88]. 

Придумайте тему своего собственного проекта, лежащую в обла- 
сти ваших личных интересов. Выполните проект, следуя пунктам 
алгоритма, приведенного на рис. 6.17 (см. $ 6.6), и используя про- 
граммный инструментарий для работы с нейронными сетями, 
скачанный с сайта уүү.1ЉАі.ги (Лабораторная работа № 8). При 
выполнении задании полезно использовать книги [73, 88]. 
Перечислите свойства, которые нейросети и нейрокомпьютеры 
унаследовали от своего прототипа — человеческого мозга. Про- 
явились ли некоторые из этих свойств при выполнении вашего 
проекта? 


Глава 7 


НЕКЛАССИЧЕСКИЕ НЕЙРОННЫЕ СЕТИ 


Нейронные сети персептронного типа с сигмоидными активационными 
функциями, предложенные, исследованные и развитые в классических 
работах У. Мак-Каллока и В. Питтса [100], Ф. Розенблатта [101, 102], 
Б. Уидроу и М. Е. Хоффа [107], А. И. Галушкина с соавторами [6—11] 
и др., являются в настоящее время наиболее изученными и наибо- 
лее применяемыми из всего множества разновидностей известных 
нейронных сетей. Однако развитие нейроинформатики на этой 
нейросетевой парадигме не остановилось. Новейшие исследования 
мозга фиксируют все новые и новые данные, которые выходят за рамки 
классических гипотез нейроинформатики. Соответственно, появляются 
новые (неклассические) нейросетевые парадигмы, некоторые из них 
рассматриваются в настоящей главе. 


7.1. СЕТЬ КАСКАДНОЙ КОРРЕЛЯЦИИ 
ФАЛЬМАНА-—ЛИБЬЕРА 


В работе С. Е. Фальмана и К. Либьера [91| предложен оригинальный 
способ постепенного наращивания структуры нейронной сети в процес- 
се ее обучения. Идея авторов состоит в следующем. Сначала создается 
простейший однослойный персептрон, затем, после попытки его обу- 
чения, следует серия этапов, состоящих в том, что в сеть добавляется 
по одному скрытому нейрону, каждый из которых своими синапсами 
подключается ко всем входным нейронам сети и ко всем ранее до- 
бавленным скрытым нейронам. Синаптические веса каждого скрытого 
нейрона подбираются так, чтобы обеспечивался максимальный коэф- 
фициент корреляции между его активностью (т.е. силой выходного 
сигнала) и ошибкой обучения сети, вычисляемой с помощью формулы: 


1 О 
= УУ (00-7) (89-8) |, (7.15 


і=1 |4=1 


где 1 — количество выходных нейронов; О — количество обучающих 


примеров; у“) — выходной сигнал нейрона-кандидата на 4-м обучаю- 


щем примере; Е) = й _ у® — погрешность і-го выходного нейрона 
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на 4-м обучающем примере; у и 5; — средние значения соответственно 
у и &;, рассчитанные по всему множеству обучающих примеров. 

По мнению авторов нейронной сети, таким способом обеспечивается 
максимальная востребованность вновь добавляемого скрытого нейрона. 

Затем аксон скрытого нейрона подключается к выходным нейронам 
сети и продолжается ее обучение, в процессе которого корректируют- 
ся только синапсы выходных нейронов сети. Поскольку в обучении 
сети синаптические веса скрытых нейронов не корректируются, то 
в использовании алгоритма обратного распространения ошибки необ- 
ходимости нет, и сеть обучают, например, с помощью обобщенного 
дельта-правила. 

В результате выполнения нескольких таких этапов, сопровождае- 
мых каждый раз добавлением нового скрытого нейрона, формируется 
нейронная сеть оптимальной структуры. 

Таким образом, алгоритм создания сети каскадной корреляции (так 
ее назвали авторы) выглядит следующим образом. 

Шаг 1. Формируется нейросеть (рис. 7.1), состоящая из одних 
только входных и выходных нейронов — однослойный персептрон. 
Число входных и выходных нейронов персептрона определено усло- 
виями задачи. На рисунке 7.1 сеть имеет три входных и два выходных 
нейрона, хотя их количество может быть произвольным. 

Шаг 2. Однослойный персептрон обучается обычным способом, 
например, с помощью обобщенного дельта-правила. 

Шаг 3. Добавляется скрытый нейрон-кандидат (рис. 7.2). Его си- 


Рис. 7.1. Формируется однослойный персептрон 


Хү 


Рис. 7.2. Добавляется скрытый нейрон-кандидат, который своими синап- 
сами подключается ко всем входным нейронам сети, а его аксон остается 
свободным 
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напсы подключаются ко всем входным нейронам сети, а аксон пока 
остается свободным. Далее следует процесс обучения скрытого нейро- 
на. Оно состоит в подборе его синаптических весов из условия обеспе- 
чения максимального коэффициента корреляции между активностью 
скрытого нейрона-кандидата, определяемой его выходным сигналом, 
и значением погрешности на выходе сети. Скрытый нейрон-кандидат 
обучается с использованием того же множества обучающих приме- 
ров, которое использовалось при обучении исходного однослойного 
персептрона. 

Шаг 4. Нейрон-кандидат включается в существующую структу- 
ру сети — его аксон подключается к выходным нейронам (рис. 7.3) 
и возобновляется процесс обучения сети, причем синаптические веса 
скрытого нейрона больше не модифицируются. Если при обучении 
целевая функция (квадратичная погрешность сети) снижается до за- 
данного предела, то процесс обучения завершается. В противном 
случае выполняется следующий шаг. 

Шаг 5. Добавляется новый скрытый нейрон-кандидат, который 
своими синапсами подключается ко всем входным нейронам и к уже 
существующим скрытым нейронам (рис. 7.4), а его аксон остается 
свободным. Скрытый нейрон-кандидат обучается с использованием 
обучающего множества примеров. Цель обучения, как и ранее, состо- 
ит в подборе синаптических весов скрытого нейрона-кандидата, при 
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Рис. 7.3. Скрытый нейрон подключается ко всем выходным нейронам 
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Рис. 7.4. Добавляется новый скрытый нейрон-кандидат, который своими 
синапсами подключается ко всем входным нейронам сети и к скрытому 
нейрону (скрытым нейронам), а его аксон остается свободным 
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Рис. 7.5. Скрытый нейрон включается в существующую структуру сети 


котором корреляция между его активностью и значением погрешности 
на выходе сети становится максимальной. 

Шаг 6. Скрытый нейрон-кандидат включается в существующую 
структуру сети (рис. 7.5), возобновляется процесс обучения сети, при- 
чем синаптические веса скрытых нейронов больше не модифицируют- 
ся. Если при обучении целевая функция (квадратичная погрешность 
сети) снижается до заданного предела, то процесс обучения заверша- 
ется. В противном случае добавляется новый скрытый нейрон и т. д. 

Как видим, в результате выполнения алгоритма Фальмана—Ли- 
бъера формируется нейронная сеть, структура которой отличается от 
слоистой, и поэтому сеть не является персептроном. 

Существуют модификации алгоритма, отличающиеся тем, что на 
каждом шаге добавляется и обучается не один скрытый нейрон-кан- 
дидат, а сразу несколько, из которых потом выбирается лучший, 
обладающий наибольшим коэффициентом корреляции. Как отмеча- 
ют авторы алгоритма [91], параллельное корреляционное обучение 
нескольких нейронов-кандидатов и выбор наилучшего из них умень- 
шают вероятность попадания в точку локального минимума и ввода 
в сеть скрытого нейрона с плохо подобранными весами. 

К достоинствам сети каскадной корреляции можно отнести следу- 
ющие: 

1) поскольку в процессе минимизации целевой функции (квадра- 
тичной погрешности сети) задействованы только синаптические веса 
выходных нейронов, то не требуется использование алгоритма обрат- 
ного распространения ошибок; 

2) оптимизация структуры сети выполняется автоматически в ходе 
выполнения пунктов алгоритма создания сети; 

3) как отмечается многими специалистами, алгоритм каскадной 
корреляции демонстрирует прекрасные качества как средство обуче- 
ния и построения нейронных сетей оптимальной структуры. 
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7.2. РАДИАЛЬНО-БАЗИСНЫЕ СЕТИ 


Радиально-базисные сети (КВЕ-сети) были предложены в 1985 г. бри- 
танским математиком М. Пауэллом (М. Ј. О. Ро\е). В их основе лежит 
понятие радиально базисной-функции (КВЕ-функции). АВЕ-функци- 
ей называется функция, радиально изменяющаяся вокруг некоторого 
центра, заданного вектором С, и принимающая ненулевые значения 
только в окрестности этого центра. За пределами этой окрестности 
значения КВЕ-функции равны нулю либо стремятся к нулю. Аргумен- 
том КВЕ-функции является расстояние между текущим вектором Х 
и вектором С, т.е. ф = $(|Х – (|). 

Заметим, что Х и С- векторы, поэтому радиально-ба- 
зисная функция является функцией многих аргументов. При 


С=0 9=$(|х|)=$(\/м+ж+...). А если входной вектор Х 


вырожден в скаляр х, то ф = Ф(Мх2) = ф(|х}). Это значит, что функ- 
ция ф является четной, т.е. симметричной относительно вертикальной 
оси, как, например, показано на рис. 7.6. 

Если вектор Х имеет две компоненты хү и х›, то КВЕ-функция 
может иметь вид, как на рис. 7.7. 


Ф 
г. 
х х 
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Рис. 7.6. Примеры радиально-базисных функций одного аргумента 
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Рис. 7.7. Примеры радиально-базисных функций двух аргументов 
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Хх 0 Хх 


Рис. 7.8. Разделение пространства на две части нейроном Мак-Калло- 
ка—Питтса (а) и радиально-базисным нейроном (6) 


В некотором смысле нейроны, имеющие радиально-базисные ак- 
тивационные функции, являются логическим дополнением нейро- 
нов со ступенчатыми и сигмоидными активационными функциями. 
Действительно, нейрон Мак-Каллока—Питтса активизируется, когда 
У`хли’; — Ө > 0, т.е. он имеет единичный (либо положительный) выход 


1 
для точек пространства, лежащих по одну сторону гиперплоскости 


У)хм; – = 0, и нулевой (либо отрицательный) выход для точек, 
7 
лежащих по другую сторону (рис. 7.8, а). Нейрон с радиально-базис- 


ной функцией также делит пространство входных параметров на две 
части, однако разделяющей поверхностью здесь является гиперсфера 
(рис. 7.8, 0). Для точек пространства, лежащих внутри гиперсферы, вы- 
ход нейрона положителен, а для точек, лежащих снаружи гиперсферы, 
он равен нулю (либо приближается к нулю). 

Интуитивно ясно, что радиально-базисные нейроны обладают пре- 
имуществом. Оно заключается в том, что с их помощью легче постро- 
ить поверхность, обеспечивающую разделение входных параметров на 
классы. В связи с этим в радиально-базисных сетях нет необходимо- 
сти использовать большое количество скрытых слоев. Так, типичная 
радиально-базисная сеть имеет только один скрытый слой, причем 
синаптические веса нейронов скрытого слоя равны единице, а ней- 
роны входного и выходного слоев имеют линейные активационные 
функции. Как доказано в [41], такая сеть при достаточном коли- 
честве нейронов скрытого слоя гарантирует решение любой задачи 
классификации образов. 

Рассмотрим КВЕ-сеть, изображенную на рис. 7.9, которая имеет 
М входов, один выход и Ј радиально-базисных нейронов скрытого 
слоя. Множество обучающих примеров для такой сети состоит из О 
входных №-мерных векторов Хд, а = 1,2,..., О и соответствующих 
им выходных скаляров 4.. Заметим, что в общем случае нейронов 
выходного слоя может быть много, так что на выходе сети может 
быть не скаляр (4,), а вектор (Р). Однако пока мы ограничимся 
рассмотрением КВЕ-сетей только с одним выходным нейроном. 
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Рис. 7.9. Радиально-базисная нейронная сеть 


Если число нейронов скрытого слоя Ј задать равным числу обу- 
чающих примеров О, то работу КВЕ-сети, преобразующей входные 
векторы Хо в выходные скаляры 4, можно представить с помощью 
матричной операции: 


ФОХ С) ф(х, -С|) ... Ф.С) ... 91 -С | [м Ч 
ФИ^>2-С1|) $(Х2-С?|) ... Ф -С;||) ... ФЦА2-С | |у Ф 
ФОХ С.) Ф С)... Фа СЛ ... ФИХ Сл) | |» | |а 
ЕРА, 
которую перепишем в сокращенной матричной форме: 

Фи = 4. (7.2) 


Искомый вектор весовых коэффициентов получается отсюда простым 
обращением матрицы радиально-базисных функций: 


№=Ф 14. (7.3) 


Таким образом, для обучения КВЕ-сети не требуется итерационного 
процесса! 

К сожалению, этот результат представляет только теоретический 
интерес. Практической же ценности он не имеет. Дело в том, что 
при большом числе обучающих примеров требование / = О приводит 
к необходимости проведения сложных вычислений из-за чрезмерного 
увеличения числа нейронов внутреннего слоя. Кроме того, создаваемая 
нейросетью гиперповерхность, аппроксимирующая точки предметной 
области, в точности проходит через точки, изображающие обучающие 
примеры. Как отмечалось ранее (см. $ 6.1), такая ситуация, называе- 
мая переобучением, или гиперразмерностью, ослабляет обобщающие 


Чо 


| 


Ы 
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свойства сети. Поэтому в практически используемых КВЕ-сетях число 
нейронов скрытого слоя выбирают значительно меньше числа обуча- 
ющих примеров, т.е. / << О. В этом случае матрица Ф не является 
квадратной, так как количество строк О в ней значительно больше ко- 
личества столбцов ./, т.е. в системе (7.2) количество уравнений больше 
количества неизвестных. Поэтому весовые коэффициенты и; прихо- 
дится определять не из системы уравнений (7.2), а другим способом, 
например из условия минимума квадратичной ошибки сети 

о гл а 

є= У |у) (1-С) 44). (7.4) 

а=1 13=1 
В отличие от многослойного персептрона функция ошибки КВЕ-сетей 
(7.4) не имеет локальных минимумов. Это значит, что при обучении 
КВЕ-сетей проблемы обхода локальных минимумов не существует. 
Задача минимизации функции ошибки (7.4) является линейной, и по- 
этому здесь применимы хорошо известные методы линейной оптими- 
зации, которые сходятся на порядок быстрее, чем в случае обучения 
многослойного персептрона. Более того, задача определения весов у 
может быть решена путем псевдоинверсии прямоугольной матрицы Ф: 


и=Ф"а, (7.5) 
—1 
где Ф* = (Ф'Ф) Ф’. 
В качестве активационных функций в КВЕ-сетях чаще всего при- 
меняется функция Гаусса. 
2 
ПА © 
2 


ФХ — С) = ехр 


(7.6) 


Вид этой функции определяется дву- 

мя параметрами: вектором С;, задаю- 

щим ее центр, и скаляром 0?, задаю- рер 
щим скорость ее убывания с ростом 4 
евклидова расстояния между центром 
С; и текущей координатой Х. Как 
видно на рис. 7.10, параметром о? за- 
дается расстояние от оси ординат до 
точки перегиба кривой Гаусса. Ино- 
гда этот параметр называют шириной 
окна функции Гаусса. 

В случае, когда число нейро- 
нов скрытого слоя равно числу обу- 
чающих примеров (7 = О), цен- 
тры активационных функций логич- рис. 7.10. Функция Гаусса: = 
но задать координатами векторов расстояние от оси ординат до точ- 
обучающей выборки, т.е. С; = Хо ки перегиба функции 
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(= 4= 1,..., О), а ширины окон с? подобрать из тех соображений, 


чтобы часть пространства, в которой располагаются векторы Хо, бы- 
ла охвачена влиянием активационных функций. Например, о} {0 `4 = (9) 
задать как евклидово расстояние от центра С; до его ближайшего 
соседа в. 
оу = |С; – Ск], (7.7) 
где А — номер ближайшего соседа. 
Иногда о} задают как среднее расстояние до Р ближайших соседей: 


Р 
о? БУ С, - СЫ (7.8) 
=] 


где Р рекомендуется задавать в интервале [3, 5]. 

После этого определяют весовые коэффициенты №. 

В реальной же ситуации / < О, поэтому предварительно выполня- 
ют кластеризацию — объединяют близкие между собой векторы Ху 
в кластеры. Затем определяют центры кластеров, в которые и помеща- 
ют центры активационных функций. Один из способов кластеризации 
векторов на заданное количество кластеров рассмотрен в $ 7.5. 

После фиксации центров активационных функций находят ши- 
рины их окон 02, например, по формуле (7.7). Последний этап 
состоит в определении синаптических весов у путем минимизации 
функционала (7.4) или с помошью вычисления по формуле (7.5). 

В заключение отметим, что в последнее время КВЕ-сети начинают 
успешно применять для решения задач, которые традиционно реша- 
лись нейронными сетями с сигмоидными функциями. В основном это 
задачи распознавания и классификации, задачи аппроксимации функ- 
ций и задачи прогнозирования. Интерес к КВЕ-сетям объясняется их 
следующими достоинствами: 

1) КВЕ-сети имеют всего один скрытый слой, что избавляет кон- 
структора сети от решения вопроса о числе слоев; 

2) обучение КВЕ-сети сводится к решению линейной оптимизаци- 
онной задачи, поэтому отсутствует опасность попадания в локальный 
минимум, а сам процесс обучения занимает на порядок меньше вре- 
мени, чем процесс обучения многослойного персептрона. 


Однако при проектировании КВЕ-сетей приходится решать вопрос 
об оптимальном количестве нейронов скрытого слоя, выполнять кла- 
стеризацию входных обучающих векторов и определять ширины окон 
активационных функций. 

Многие исследователи склонны полагать, что изобретение КВЕ-се- 
тей является одним из наиболее крупных достижений в области 
нейроинформатики, и ставят это изобретение в один ряд с открыти- 
ем алгоритма обратного распространения ошибки или изобретением 
генетических алгоритмов. 


7.3. Рекуррентные сети на базе персептрона 159 


7.3. РЕКУРРЕНТНЫЕ СЕТИ НА БАЗЕ ПЕРСЕПТРОНА 


Как показали нейрофизиологические исследования, мозг человека 
имеет гораздо более сложную структуру и механизмы взаимодей- 
ствия нейронов, чем те, которые реализованы в рассмотренных выше 
искусственных нейронных сетях. В частности, между биологически- 
ми нейронами выявлено большое количество не только прямых, но 
и обратных связей. Поэтому были предприняты попытки допол- 
нить искусственные нейронные сети обратными связями, что привело 
к неожиданным новым результатам. Рассмотрим некоторые из них. 

На рисунке 7.11, а дан пример персептрона, у которого выходные 
сигналы у; и уз через элементы единичных задержек <! подают- 
ся обратно на входы персептрона. Таким образом, под воздействием 
входных сигналов ху И х› на выходе сети в момент времени # вы- 
рабатываются сигналы у1(Г) и у›(7), а затем, в следующий момент 
времени 1-1, под воздействием этих сигналов, подаваемых на вход 
через линии задержки <_'!, вырабатываются новые выходные сигналы 
(ЕП) и у +1). 

Нетрудно показать, что для всякой рекуррентной сети может быть 
построена идентичная сеть без обратных связей с прямым распро- 
странением сигнала (рис. 7.11,6), поэтому для обучения рекуррентных 
сетей может быть применен метод обратного распространения ошибки. 

В настоящее время нашли применение рекуррентные нейросети, 
в которых элементы единичных задержек включены как в обрат- 


Рис. 7.11. Рекуррентная сеть на базе персептрона (а) и идентичный ей 
развернутый персептрон (6) 
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Рис. 7.12. Рекуррентная сеть с М—1 элементами задержки входного сигнала 
и Р элементами задержки в обратной связи 


ные, так и во входные связи, а сами обратные связи исходят как от 
выходных нейронов, так и от нейронов скрытых слоев. На рисун- 
ке 7.12 приведена сеть, имеющая один вход и один выход, причем 
как входной, так и выходной сигналы подаются на нейроны скрыто- 
го слоя через элементы задержек. Таким образом, выходной сигнал, 
образующийся в момент времени / + 1, является функцией № + Р 
переменных: 


УНР = <, х(7— 1), ...,х(7— (№ 1)), (7—1), Уа-2),....У@-Р)), (7.9) 


из которых № переменных представляют собой последовательность 
входных сигналов, а Р переменных являются ответами персептрона 
в разные моменты времени. Их называют контекстными аргументами. 

Такие нейронные сети удобно использовать для прогнозирования 
временных рядов. Например, если речь идет о задаче прогнозирования 
курса американского доллара, рассмотренной в [63], то в скользя- 
щем окне в качестве дат можно рассматривать № входных аргументов, 
а в качестве соответствующих значений курса доллара — Р контекст- 
ных аргументов формулы (7.9). Шириной скользящего окна будет 
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Рис. 7.13. Структура нейронной сети Элмана 


величина №, которую следует принять равной Р. Значение функции 
У(Ё-+ 1) тогда будет означать прогноз курса доллара на день вперед. 

Если курсы валют требуется прогнозировать с учетом влияния 
большего количества различных факторов, то следует воспользоваться 
рекуррентной сетью с несколькими выходами. Таким свойством обладает, 
например, сеть Элмана [41], структура которой приведена на рис. 7.13. 

Рекуррентные сети рассмотренного типа применяются также для 
математического моделирования динамических объектов. В этом слу- 
чае уточнение весов выступает в роли идентификации параметров 
динамической математической модели. Созданная таким образом ма- 
тематическая модель динамического объекта может применяться для 
управления данным объектом: машиной, устройством, развивающимся 
во времени процессом. 


7.4. РЕКУРРЕНТНАЯ СЕТЬ ХОПФИЛДА 


Американский физик Джон Хопфилд [98| обратил внимание на то, 
что динамический процесс, возникающий в замкнутой на себя рекур- 
рентной сети, может привести к некоторому устойчивому состоянию, 
отличающемуся от исходного. Другими словами, итерационный про- 
цесс рекуррентной сети может вывести ее на стационарный режим, 
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Рис. 7.14. Структура нейронной сети Хопфилда 


при котором состояние сети перестанет меняться. Причем это конеч- 
ное стационарное состояние сети зависит как от ее первоначального 
состояния, так и от значений элементов матрицы синаптических весов. 

Сеть Хопфилда в классическом варианте исполнения приведена на 
рис. 7.14. Считается, что она не имеет входных элементов, а входной 
вектор задает первоначальную активность нейронов, которая затем 
изменяется в ходе итерационного процесса, обусловленного нали- 
чием обратных связей. В процессе итераций активность нейронов 
корректируется с помощью формул: 


М 
5:= У? муу), (7.10) 
Ј=1, 1% РР 
_] 1, если 5:20; 
ежу р и оО. (7.11) 


т.е. принимает значения либо +1, либо —1. Согласно схеме рис. 7.14, 
в ней отсутствуют связи нейронов с их собственными выходами. 
Сеть работает следующим образом. Сначала входной вектор за- 
дает начальную активность у;(Р) каждого нейрона. Затем выбранный 
случайным образом нейрон получает взвешенные сигналы от всех 
остальных нейронов и обновляет свое состояние согласно формулам 
(4.79)—(4.80). Выбирается следующий нейрон, и процесс повторяется 
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Рис. 7.15. Три образа, запомненные сетью Хопфилда 


до тех пор, пока нейроны, выбранные для обновления, не перестанут 
изменять свое состояние. Наступает стационарный режим. 

Сеть Хопфилда ведет себя подобно памяти, хранящей заданный 
заранее набор образов и пытающейся вспомнить один из них, если 
ей предъявляется какой-либо из этих образов, искаженный помеха- 
ми. Образы предварительно кодируются в виде векторов с бинарными 
компонентами. Каждый из векторов умножается сам на себя, об- 
разуя квадратную матрицу. Затем матрицы складываются, образуя 
новую квадратную матрицу, главная диагональ которой обнуляется. 
Это и есть матрица синаптических весов "у, хранящая информацию 
о всех заданных образах. 

Для пояснения алгоритма формирования матрицы синаптических 
весов приведем пример. Допустим, что предметная область содер- 
жит два образа, закодированных с помощью двух векторов: [—1, 1, —1] 
и [1,1,1]. Умножая их самих на себя и складывая, получим квад- 
ратную матрицу 


—1 | і=1 21 1-11 52 
и [Е [+0 ре] | ли + 1-0-2 2-2 
=] | їе 1-11 2. 2 
Выполнив обнуление главной диагонали, окончательно получим: 
ие 
и = |-2 0 —2 
2—2 0 


Теперь предположим, что мы закодировали и ввели в сеть Хопфилда 
матрицу синаптических весов, соответствующую трем образам, изоб- 
раженным на рис. 7.15. После этого мы предъявляем сети входной 
вектор (т.е. задаем первоначальную активность нейронов), соответству- 
ющий некоторому искаженному образу, изображенному на рис. 7.16 
в левом верхнем углу. Как видно из последующих кадров рис. 7.16, 
итерационный процесс привел к тому, что на выходе сети Хопфилда 
сформировался вектор, в точности соответствующий одному из ра- 
нее введенных образов. В этом случае говорят, что входной образ 
ассоциировался с одним из введенных ранее образов и что рекур- 
рентные сети рассмотренного типа выступают в роли ассоциативных 
запоминающих устройств. 
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Рис. 7.16. Предъявленный нейронной сети Хопфилда искаженный образ 
и его деформация за последующие 15 итераций (материал заимствован 
из [26]) 


Хопфилду удалось математически строго показать, что при любом 
входном векторе итерационный процесс всегда приведет к распо- 
знаванию одного из введенных ранее образов, наиболее близкому 
к предъявленному. Однако максимальное количество запоминаемых 
сетью образов рњах ограничено формулой [98]: 


= № 
Ртах Э2шм ° 


где № — число нейронов сети Хопфилда. 


7.5. САМООБУЧАЮЩИЕСЯ И ГИБРИДНЫЕ СЕТИ 


Рассмотренные выше нейронные сети персептронного типа обучались 
путем тренировки на примерах. Для обучения предоставлялась перво- 
начальная информация о предметной области в виде набора входных 
векторов Хо и им соответствующих выходных векторов В. — свое- 


7.5. Самообучающиеся и гибридные сети 165 


го рода подсказок, с использованием которых сеть обучалась давать 
правильные ответы на задаваемые вопросы. Поэтому такой способ 
называют обучением с учителем. 

В реальных условиях любой живой организм, взаимодействуя с окру- 
жающей средой, постоянно ощущает ее воздействие, получает своего 
рода подсказки, согласно которым корректирует свое поведение. Так, 
кошка, один раз прыгнувшая на раскаленную печь, никогда больше не 
повторит своей ошибки. Подобных примеров можно привести тыся- 
чи, поэтому механизм обучения с учителем, несомненно, свойственен 
мозгу любого живого существа. 

Однако мозг человека обладает и другими механизмами обуче- 
ния. Мы в состоянии решать многие интеллектуальные задачи и без 
предварительного обучения. Например, мы не задумываясь можем вы- 
полнить кластеризацию объектов — объединить похожие между собой 
объекты в отдельные классы, называемые кластерами. 

Рассмотрим нейронную сеть, которая без помощи учителя авто- 
матически настраивает свои синаптические веса, решая задачу кла- 
стеризации входных векторов. Сеть, изображенная на рис. 7.17, имеет 
один слой / нейронов, каждый из которых соединен с № входа- 
ми. Этот слой нейронов называют слоем Кохонена в честь ученого, 
предложившего алгоритм самообучения нейросети. Веса синаптиче- 
ских связей каждого і-го нейрона слоя Кохонена образуют вектор 
синаптических связей И’; = [ил, "р, ..., им|/, размерность которо- 
го совпадает с размерностью входных векторов Х = [х1, хо, ..., хм]. 
Первоначально значения компонент векторов И’; задаются датчиком 
случайных чисел, а компоненты входного вектора Х подвергают- 
ся нормализации путем деления каждой из них на длину самого 
вектора Х. 

Между вектором Х и каждым из векторов И’; вычисляются ев- 
клидовы расстояния: 


|х – #4 = (7.12) 


среди которых выбирается наименьшее. Нейрон, у которого вектор 
синаптических весов И’; оказался ближе всего к входному вектору ЖХ, 
будем называть нейроном-победителем, а его номер обозначим через 
у, т.е. нейрон-победитель имеет порядковый номер і = у. Синапти- 
ческие веса нейрона-победителя, а также всех близлежащих к нему 
нейронов подвергаются корректировке по формуле Кохонена 


ИИ: (+ 1) = И; (0) + (0) С@, м) (Х – И; (1). (7.13) 


В этой формуле коэффициент скорости обучения ПР) уменьшается 
с увеличением времени {, а функция С(/, у) зависит от расстояния 
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Рис. 7.17. Самообучающаяся нейронная сеть 


между нейроном-победителем м и Г-м нейроном сети. Обычно ее 
задают максимальной для і = у и убывающей по мере увеличения 
расстояния от /-го нейрона до нейрона-победителя. Таким свойством 
обладает, например, функция Гаусса 


СИЕ И – И] 
С(1, м) = ех ИИ» ! Я 7.14 
(7, №) 2 ( 212 (7.14) 
в которой коэффициент 4 называется уровнем соседства. 

В другом варианте обучению по формуле Кохонена (7.13) под- 
вергается только нейрон-победитель. В этом случае функция С(1, и’) 
имеет вид 


1, для і= и; 


0, для і%# №. (7.15) 


С(1, м) = | 
Этот алгоритм называется алгоритмом ҰТА. Название образовано на- 
чальными буквами английских слов ИЛииег Такеѕ АЦ, что в переводе 
означает «Победитель забирает все». В отличие от этого алгоритма 
формулу (7.14) относят к алгоритмам типа МТМ — ИЛиипег Такеѕ Мої, 
что переводится как «Победитель забирает больше». 

Согласно итерационной формуле Кохонена (7.13), нейрон-победи- 
тель на каждой эпохе приближает свой синаптический вектор И, 
к входному вектору Х, как проиллюстрировано на рис. 7.18. В резуль- 
тате такого обучения каждой отдельной группе близких между собой 
входных векторов Хо, называемой кластером, будет соответствовать 
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один-единственный нейрон. Этот нейрон 

в ходе обучения для этих векторов был по- Х хи) 
бедителем, причем его синаптический век- " 

тор в результате итерационного процесса 

(7.13) окажется в центре этого кластера. 1(Х = И, (1) 

Однако могут найтись и такие нейроны, 
которые ввиду их первоначальной удален- 
ности от входных векторов так и не были 
ни разу победителями. Этим нейронам не И (И) 
будет соответствовать ни один кластер, по- 
этому их называют мертвыми нейронами. рис. 7.18. ов 
Наличие мертвых нейронов нежелательно, тель приближает свой си- 
так как они снижают эффективность вы- наптический вектор И» 
числительного алгоритма. к входному вектору 

Проблема мертвых нейронов решается 
путем введения механизма, моделирующего эффект утомления, из- 
вестный из нейрофизиологических наблюдений. Этот эффект заклю- 
чается в том, что биологические нейроны сразу после победы на 
некоторое время теряют свою активность и не участвуют в конку- 
рентной борьбе. 

Существует несколько способов моделирования эффекта утомле- 
ния нейронов, например путем введения потенциала активности 
каждого нейрона. Потенциалы активности модифицируются всякий 
раз после представления очередного входного вектора: 


РКИ) — Ршш, для і = №; 


р) + — ‚ для і% №. (716) 


РКРП) = 


В (7.16) № — количество нейронов нейросети; рим — минимальное 
значение потенциала, разрешающее нейрону участие в конкурентной 
борьбе, обычно принимаемое риш = 0,75. Если текущее значение 
потенциала какого-либо нейрона падает ниже рьіһ, то этот нейрон 
временно отдыхает, уступая место для конкурентной борьбы другим 
нейронам. 

В результате такого обучения весовые векторы всех нейронов рас- 
пределятся так, что они будут центрами различных кластеров, обра- 
зованных из входных векторов, причем число кластеров, на которые 
разобьется входное множество векторов, будет равно числу нейронов 
сети. 

Рассмотренная нейронная сеть представляет практический интерес, 
поскольку с помощью ее можно решать задачи кластеризации объек- 
тов, которые возникают, например, при необходимости сжатия ин- 
формации с сохранением глобальных свойств сжимаемого множества. 
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На рисунке 7.19 приведен результат ра- 
боты нейронной сети, которая разбила 
исходное множество на три кластера. 

Задачи кластеризации возникают 
в самых разнообразных областях чело- 
веческой деятельности. Так, в педаго- 
гике часто возникает задача разделения 
всех учащихся на несколько классов, 
например вундеркиндов, отличников, 
успевающих и неуспевающих. Исход- 
Рис. 7.19. Пример кластери- ной информацией для такого деления 
зации множества: крестиками ЯВЛЯется множество различных пока- 
обозначены входные парамет- зателей успеваемости учащихся за дли- 
ры, кружочками — центры кла- тельный период времени. Для решения 

стеров этой задачи можно использовать слой 
Кохонена из четырех нейронов. 

Слой Кохонена эффективно использовать в сочетании со слоя- 
ми нейронов, реализующими другие нейросетевые парадигмы. Так, 
применение КВЕ-сетей, рассмотренных в $ 7.2, подразумевает обяза- 
тельную предварительную кластеризацию входных векторов, которую 
удобно выполнять с помощью нейронного слоя Кохонена. На ри- 
сунке 7.20 изображена гибридная сеть, содержащая слой Кохонена, 
выходные сигналы с которого передаются на вход обычного персеп- 
трона. Обучение гибридной нейросети осуществляется в две стадии. 

На первой стадии происходит самообучение слоя Кохонена, в ре- 
зультате которого множество входных векторов разбивается на класте- 
ры. Число кластеров равно числу нейронов / слоя Кохонена, а векторы 
синаптических весов каждого нейрона этого слоя принимают значе- 
ния, изображающиеся центрами образовавшихся кластеров. Теперь при 
подаче на вход сети какого-либо входного вектора каждый нейрон 


х] 


М 

слоя Кохонена будет вырабатывать сумму 29; == С М;„ Хи . Эти суммы 
п=1 

нормализуются так, чтобы выходной сигнал нейрона-победителя был 


равен единице, а выходные сигналы остальных нейронов принимали 
значения в интервале (0;1). Указанная операция нормализации может 
осуществляться, например, с помощью формулы: 
2 
Ау — 2$; 
ие ( (бак 50°, 


од 


в которой значение параметра с подбирается индивидуально для 
решаемой задачи. 

Персептронная часть сети обучается обычным способом, напри- 
мер методом обратного распространения ошибки. Обучающая выборка 
в этом случае состоит из выходных векторов слоя Кохонена У’, и со- 
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Рис. 7.20. Гибридная нейронная сеть: / — слой нейронов Кохонена; // — 
персептронные слои 


ответствующих им желаемых выходов сети Р.. Благодаря хорошему 
структурированию исходных данных, выполненному слоем Кохонена, 
персептронная часть гибридной сети обучается во много раз быстрее, 
чем обычный персептрон. 

В заключение отметим, что, согласно современным данным, мозг 
человека представляет собой каскадное объединение биологических 
нейронных сетей различных функциональных назначений. Поэтому ги- 
бридная сеть, объединяющая слои нейронов различных нейросетевых 
парадигм, в большей мере соответствует современным представлениям 
о структуре и способе функционирования мозга. Следствием такого 
объединения является ее более высокая эффективность. 


7.6. ИНТЕЛЛЕКТУАЛЬНЫЙ НЕЙРОН ВАЛЬЦЕВА 


Согласно сложившейся классификации [33], все рассмотренные выше 
парадигмы нейронных сетей относятся к так называемому коннек- 
ционистскому (от англ. соппесі — соединяться) типу. Согласно этому 
подходу, нейронные сети строятся на основе относительно простых ма- 
тематических моделей нейронов, например математических нейронов 
Мак-Каллока — Питтса. Все же многообразие необходимых свойств 
и качеств нейронных сетей достигается не путем усложнения матема- 
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тических нейронов, а путем их соединения в определенным образом 
спроектированные структуры. 

Здесь мы рассмотрим другой альтернативный тип нейронных сетей, 
называемый нейробиологическим. Этот тип отличается использовани- 
ем более сложных математических моделей нейронов, которые, по 
мнению их авторов, более полно отражают свойства биологических 
нейронов мозга. 

В настоящее время доминирующим в искусственном интеллекте 
является коннекционистский подход. В первую очередь это обусловле- 
но достаточно хорошей формализацией моделей. Однако, как только 
мы переходим от задач аппроксимации к решению сложных мно- 
гоуровневых задач, требующих привлечения семантики, оказывается, 
что необходимо вводить функциональные элементы более сложные, 
нежели формальные нейроны. Попытки «выращивания» подобного 
рода сложных нейронов из сети простых приводят к тому, что коли- 
чество формальных нейронов катастрофически растет и появляются 
неустранимые сложности обучения таких сетей. 

В 1996 г. российским ученым-нейробиологом В. Б. Вальцевым с со- 
авторами [105] была предложена математическая модель большого пи- 
рамидального нейрона мозга. Как известно, пирамидальные нейроны 
составляют до 80% коры головного мозга. Они отличаются тем, что 
их тело похоже на пирамиду, из которой выходит один большой денд- 
рит, который ветвится на множество мелких шипов-дендритов. Через 
дендриты пирамидальный нейрон получает сигналы от тысяч других 
клеток. 

Схема математического нейрона Вальцева изображена на рис. 7.21. 
Основными его функциональными элементами являются тело клетки, 
в котором происходит накопление потенциала от входов, и аксонный 
холмик, который генерирует на выходе нейрона нервные импульсы, 
когда потенциал клетки превысит некоторое пороговое значение. Та- 


Память Торможение 
| Потребность Запрет 
Возбуждение Аксонный 
холмик 


Рис. 7.21. Структура нейрона Вальцева 
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ким образом, нейрон Вальцева, как и математический нейрон Мак- 
Каллока — Питтса, может находиться в двух состояниях: возбужденном 
и невозбужденном. 

Математический нейрон Вальцева имеет один выход и несколько 
ВХОДОВ. 

Вход запрета выполняет роль тормоза аксонного холмика. Под 
действием сигналов входа запрета передача импульсов с нейрона может 
быть прекращена, при этом потенциал клетки не изменится. 

При подаче импульсов на вход торможения уменьшается потен- 
циал клетки, т. е. снижается активность нейрона. 

При подаче импульсов на вход потребности (регуляции) потен- 
циал клетки нарастает, но, при наличии импульсов только на этом 
входе, не может превысить его порогового значения, необходимого 
для генерации выходных импульсов. 

При наличии импульсов только на входе возбуждения потенциал 
клетки не может превысить значение, равное 30% от порогового. 

Вход памяти является обучаемым. При подаче импульсов на 
максимально обученный вход памяти, потенциал клетки не сможет 
подняться выше значения в 70% от порогового. В состоянии нулевой 
обученности импульсы, подаваемые на вход памяти не увеличивают 
потенциала клетки. 

Нейрон Вальцева выполняет суммирование потенциалов входов: 


4 
ф=фо+ Уф, 
п=1 


где фо — начальный потенциал, ф„ — потенциалы входов памяти, ре- 
гуляции, возбуждения и торможения соответственно при и = 1,..., 4. 

Когда потенциал ф превысит пороговое значение у и при этом 
потенциал на входе запрета не превысит некое заданное значение, ней- 
рон переходит в возбужденное состояние и генерирует электрические 
импульсы. Частота импульсов прямо пропорциональна превышению 
потенциала ф над порогом у: 


ш = 9(ф – Ш) + оо, 


где О — коэффициент зависимости частоты генерации от надпорого- 
вого потенциала. 

Как можно заметить, в отличие от классических математических 
нейронов, в которых все входы являются равноценными, в нейроне 
Вальцева различные входы по-разному влияют на поведение нейрона. 
Так, при появлении импульсов на входе торможения, нейрон Вальцева 
перестает генерировать выходные сигналы независимо от того, какие 
сигналы он получает с других входов, и независимо от потенциала 
клетки. 
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Возникает естественный вопрос: когда это может быть полезно? 

Это может быть полезно, например, в задаче управления поведе- 
нием кибернетического объекта, когда окружающая среда, в которой 
действует объект, характеризуется множеством сигналов, поступающих 
с различных датчиков, выдающих сигналы разной степени важности. 
Например, если речь идет об управлении движением самолета, то 
сигнал, поступающий с датчика высоты, при ее уменьшении ни- 
же критической имеет первостепенное значение, требующее принятия 
экстренных мер вне зависимости от сигналов, поступающих с других 
датчиков. 

Таким образом можно констатировать, что нейронная сеть нейро- 
биологического типа, в отличие от классической коннекционистской 
нейросети, обладает дополнительными свойствами, характерными для 
экспертной системы, а именно, свойством принимать решения, ру- 
ководствуясь еще и наперед заданными правилами, например: «Экс- 
тренно запустить программу набора высоты при снижении высоты 
полета самолета ниже критического значения». 

Другой, более сложный пример применения нейронов Вальцева 
приведен в работе [105]. В этой статье рассматривается задача созда- 
ния системы управления для робота-эксурсовода. Робот-экскурсовод 
должен двигаться по определенному маршруту — линии с нанесен- 
ными на нее метками. Достигнув очередной метки, робот должен 
останавливаться и читать небольшую лекцию. 

Основным требованием к роботу-экскурсоводу является безопас- 
ность. Робот ни в коем случае не должен причинять вред людям 
и экспонатам и должен немедленно останавливаться в случае воз- 
никновения какого-либо препятствия или при потере маршрутной 
линии. Для этого он оснашен датчиками препятствий двух видов: 
первого уровня, определяющими препятствие непосредственно в зоне 
безопасности робота, и второго уровня, реагирующими на удален- 
ные препятствия. Реакцией на сигнал датчика первого уровня должна 
быть немедленная и безусловная остановка. Реакция на сигнал датчи- 
ка второго уровня — менее критична. При поступлении этого сигнала 
робот может оценивать расстояние до препятствия и планировать 
возможность его объезда. 

Помимо всего прочего, робот должен следить за уровнем заряда 
своих бортовых аккумуляторов. При уменьшении заряда ниже крити- 
ческого робот должен начать процедуру поиска источника питания. 

Понятно, что сигналы, которые должен обрабатывать робот, име- 
ют разные приоритеты, поэтому при разработке системы управления 
роботом-экскурсоводом лучше использовать нейробиологические ней- 
роны, которые как раз и приспособлены для обработки сигналов, 
имеющих разные приоритеты. 
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2. 


Можно ли назвать нейронную сеть Фальмана—Либьера персеп- 
троном? Почему? 

Назовите преимущества и недостатки нейронной сети Фальма- 
на—Либьера по сравнению с персептроном. 

Назовите преимущества и недостатки радиально-базисной ней- 
ронной сети по сравнению с персептроном. 

Назовите преимущества и недостатки нейронных сетей Эльмана, 
Хопфилда и Кохонена по сравнению с персептроном. 

В чем состоит разница между нейроном Мак- Каллока— Питтса 
и нейроном Вальцева? 


Глава 8 


КОМПЬЮТЕРНОЕ ТВОРЧЕСТВО 


8.1. ФИЛОСОФСКИЕ АСПЕКТЫ ТВОРЧЕСТВА 


Любое произведение искусства может быть закодировано в виде 
конечного числа цифр. Например, каждое слово поэмы состоит из 
букв, которые могут быть закодированы 33 цифрами. Ясно, что при 
таком соответствии одна длинная строка цифр может рассматриваться 
как кодированная запись поэмы. 

Аналогично обстоит дело в живописи. Полотно картины можно 
расчертить на мельчайшие клетки и цвет каждой клетки закодировать 
цифрами. То же самое в музыке. Из анализа Фурье известно, что все зву- 
чание музыкального произведения, от первой ноты до последней, может 
быть представлено одной-единственно кривой на экране осциллографа. 
Кривую можно с любой степенью точности кодировать цифрами. 

Таким образом, любое произведение искусства в любой области мож- 
но представить в виде набора конечного числа цифр. Число возможных 
комбинаций этих цифр огромно, но не бесконечно. Поэтому можно 
представить себе библиотеку, содержащую все возможные комбинации 
цифр. Подавляющее большинство комбинаций цифр в переводе на бук- 
вы, цвета и звуки не имеют никакого смысла. Но среди этих комбинаций 
есть и такие, которые имеют смысл и которые являются тем, что мы на- 
зываем произведениями искусства. Существуют ли алгоритмы, которые 
позволят компьютеру выбрать из множества бессмысленных вариаций 
те, которые являются гениальными поэмами, картинами, симфониями? 

Первые попытки создания таких алгоритмов относятся к ХУП в. 
Известен, например, пятисотстраничный трактат немецкого иезуита 
Афанасиуса Кирхера «Универсальная музургия, или великое искус- 
ство созвучий и диссонансов». А. Кирхер был учеником Р. Луллия 
и рассматривал музыкальную композицию как комбинаторную зада- 
чу. Его идеи были реализованы в виде устройства, напоминающего 
механическую экспертную систему Луллия (см. $ 1.1), которое ныне 
хранится в музее Кембриджского университета. 

В начале ХУШ в. вопросами механического сочинения музыкаль- 
ных произведений с помощью таблиц и игральных костей занимались 
многие известные композиторы, такие как Бах, Гайдн, Моцарт. 

Рассмотрим вопрос создания произведений искусства с применением 
известных нам современных методов искусственного интеллекта. Мы 
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уже сталкивались с методами математического моделирования в различ- 
ных естественных науках, таких как физика, метеорология, экономика, 
механика сплошных сред, электроника и пр. Роль математического мо- 
делирования в жизни современной цивилизации переоценить трудно, 
причем круг проблем, решаемых этим методом, постоянно растет. 

Напомним, что модель — это «черный ящик», в который вводятся 
входные и выводятся выходные параметры. Модель является наме- 
ренно упрощенной схемой некоторого реального объекта, системы, 
процесса. Но путем исследования модели получают рекомендации для 
решения реальных проблем. 

Математическая модель может существовать в виде логических 
программ, переводимых на язык ЭВМ. Математическую модель, вве- 
денную в компьютер, называют компьютерной моделью. 

Существуют общие принципы построения моделей. Приведем неко- 
торые из них. Для построения модели необходимо: 

1) выявить релевантные (существенные) факторы, т.е. факторы, 
которые могут сказываться на результатах решения данной проблемы 
или на исходе рассматриваемого процесса; 

2) выбрать факторы, которые могут быть описаны количественно; 

3) объединить факторы по общим признакам и сократить их пе- 
речень, выявить инварианты (о них речь пойдет дальше); 

4) установить количественные соотношения между выбранными 
факторами и инвариантами. 

Факторы, которые по своей природе не могут быть выражены ко- 
личественно, так же как и несущественные факторы, исключаются из 
рассмотрения. 

При математическом моделировании очень важным этапом являет- 
ся установление инвариантов системы. Идея инвариантности состоит 
в том, что, хотя система в целом претерпевает последовательные 
изменения, некоторые ее свойства сохраняются неизменными. Су- 
ществование инварианта в любом множестве неизбежно влечет за 
собой ограничение разнообразия. Существование инварианта во мно- 
жестве явлений говорит об ограничении разнообразия. Поэтому теория 
инвариантов — это теория ограничения разнообразия. 

Поскольку любой закон природы подразумевает существование 
некоторого инварианта, то, следовательно, всякий закон природы 
есть ограничение разнообразия, а так как цель науки — поиск зако- 
нов, то наука занимается поиском ограничений разнообразия. 

В математике инвариантом называют функцию от преобразуемой 
величины, не изменяющую своего значения при преобразовании этой 
величины. Так, расстояние между двумя точками является инвари- 
антным относительно переноса начала координат и поворота осей 
на любой угол. В гидродинамике инвариантами являются критерии 
подобия — числа Грасгофа, Прандтля, Релея и т. д. 
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В лингвистике выделяют инварианты стихотворных форм. На- 
пример, старинная итальянская форма стиха — сонет — всегда имеет 
14 строк. Первая часть его состоит из двух катренов (четверости- 
ший), вторая — из двух терцетов (трехстиший). Стихотворный размер 
сонета — пятистопный (реже шестистопный) ямб. Форма рифмовки 
для катренов — две разнозвучные рифмы, а для терцетов — две риф- 
мы, отличающиеся от рифм катренов. Третья строка первого терцета 
рифмуется со второй строкой второго терцета и т.д. В любом сонете 
легко обнаружить сохранение указанных инвариантов. 

Аналогичным образом инварианты могут быть обнаружены и в дру- 
гих произведениях искусства. Возможность создания тех или иных 
произведений искусства может быть определена в первом приближении 
как сознательная или бессознательная способность находить нужные 
инварианты и комбинировать их для получения желаемого эффекта. Эта 
способность проявляется художником-творцом в результате обобщения 
закономерностей всего предшествующего художественного наследия. 

Таким образом, мы видим, что искусство в конечном итоге пресле- 
дует ту же цель, что и наука, — выявление инвариантов, установление 
связи между ними, ограничение разнообразия. 

О возможности моделирования творческой деятельности человека 
непрерывно идут дискуссии и существуют различные точки зрения, 
как положительные, так и отрицательные. Попытаемся рассмотреть 
этот вопрос с математической точки зрения. Что есть творчество 
с точки зрения математика? 

Воспользуемся известной теоремой Геделя. Ее смысл состоит в том, 
что «всякая достаточно мощная формальная непротиворечивая логи- 
ко-математическая система обязательно содержит формулу, которую 
в данной системе нельзя ни доказать, ни опровергнуть». Иначе го- 
воря, если имеем систему аксиом А}, А, ..., Аи, то в этой системе 
можно сформулировать предложение Во, которое невозможно ни до- 
казать, ни опровергнуть при помощи данной системы аксиом. Однако 
может оказаться, что при добавлении к имеющейся системе аксиом 
некоторой аксиомы А„-| станет возможным доказать или опроверг- 
нуть предложение Во. Но и в этом случае обязательно найдется хотя 
бы одно еще предложение В, которое невозможно ни доказать, ни 
опровергнуть при помощи уже расширенной системы аксиом. Си- 
стему нужно снова расширять и т. д. Так, геометрия Лобачевского 
содержит в себе геометрию Евклида, а из теории относительности 
Эйнштейна как частный случай следует ньютоновская механика. 

Творчество — это процесс расширения системы, в результате че- 
го невыводимые утверждения становятся выводимыми. Иначе говоря, 
если некоторая задача не может быть решена в данной логической си- 
стеме, необходимо искать другую систему, логически более мощную. 
Тогда творчество заключается в расширении системы, увеличении ее 
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логической мощи, ее логического «богатства», что дает возможность 
решения новых задач, не решаемых в старой системе. 

Итак, можно дать два определения творчества. 

1. Творчество — это поиск инвариантов и соотношений между ними. 

2. Творчество — это расширение логической системы с целью ре- 

шения новых задач. 

Так с математической точки зрения можно представить процесс 
творчества. 

Не меньшее методологическое значение для понимания и модели- 
рования процесса творчества имеют теоремы Мак-Каллака и Питтса — 
основателей направления, называемого нейрокибернетикой. Этими ав- 
торами введено понятие математического нейрона. Если нейрон яв- 
ляется основной рабочей клеткой коры больших полушарий мозга 
человека, то математический нейрон есть абстрактный логический 
элемент, в котором формально отражены лишь те свойства живо- 
го нейрона, которые связаны с переработкой информации. Принцип 
действия математического нейрона и его возможности для решения 
практических задач изложены в гл. 4. К теме этой главы имеют от- 
ношение теоремы Мак-Каллока—Питтса. Смысл их сводится к тому, 
что любое функционирование живой нервной ткани, которое можно 
представить с помошью конечного числа слов в терминах логиче- 
ского исчисления высказываний, может быть описано при помощи 
искусственной нейронной сети. Таким образом, существует принци- 
пиальная возможность создания сети из математических нейронов, 
способной к творческой деятельности. 

Впрочем, теоремы Мак-Каллока—Питтса представляют собой тео- 
ремы существования: они ничего не говорят о том, как нужно создавать 
сеть из математических нейронов, чтобы воспроизвести творческую 
деятельность человека, а только утверждают, что такую сеть принци- 
пиально можно построить. Практических же успехов в области моде- 
лирования творческой деятельности удалось добиться, следуя другим 
альтернативным направлением искусственного интеллекта, называемым 
высокоуровневой стратегией, или кибернетикой «иерного ящика». 


8.2. ТВОРЧЕСТВО В МУЗЫКАЛЬНОЙ СФЕРЕ 


Человеческий мозг — это своего рода банк данных и знаний, в котором 
хранится огромный объем информации, собранной за всю прожитую 
человеком жизнь. Доказано, что человеческий мозг никогда и ничего 
не забывает. Каждый прожитый им день до мельчайших подробностей, 
как на видеопленку, записывается в его память, и эта информация 
может быть определенным образом извлечена. Кроме того, имеются 
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База данных (художественное наследие) 


Файл База знаний 
формируемых (законы 
мелодий сольфеджио) 


Рис. 8.1. Примерная схема музыкального творчества 


попытки доказать, что может быть извлечена информация, переданная 
человеку от предыдущих поколений и из прожитых ранее жизней. 

Точно так же в памяти композитора существует множество различ- 
ных мелодий, накопленных им в течение жизни, а может быть, даже 
передавшихся ему с генами от его далеких предков. И естественно по- 
лагать, что фрагменты этих мелодий, отдельные музыкальные фразы, 
музыкальные инварианты осознанно или неосознанно используются 
композитором в его творческом процессе. 

Учитывая все это, первое, что нужно сделать при создании моде- 
ли музыкального творчества (рис. 8.1), — занести в память компьютера 
как можно больше музыкальных произведений (создать базу данных). 
Далее, как и в любой интеллектуальной системе, нужно создать базу 
знаний, состоящую из законов музыкальной гармонии — соотношений 
между музыкальными инвариантами (сольфеджио). Теперь на вход 
компьютера надо подать «творческое вдохновение» в виде музыкальной 
фразы, состоящей, например, из четырех нот, и заставить компьютер 
отыскать такое же сочетание нот в одном из хранящихся в его памя- 
ти музыкальных произведений. Затем нужно прочитать следующую за 
найденной фразой ноту и приписать ее к текущей музыкальной фра- 
зе. Первую ноту из этой фразы выдать в файл формируемых мелодий 
и вычеркнуть из текущей фразы так, чтобы в ней по-прежнему оста- 
валось четыре ноты. Процесс поиска следует продолжить, анализируя 
следующие за найденной в памяти компьютера мелодии. 

В результате в файле формируемых мелодий сформируется после- 
довательность нот новой мелодии, которая по своему звучанию будет 
напоминать заложенные в памяти компьютера известные мелодии, но 
отличаться от них. Например, если в память закладывались вальсы, то 
на выходе будет вальс, если марши, то на выходе будет марш и т. п. 

После завершения формирования мелодия автоматически аранжирует- 
ся согласно законам музыкальной гармонии, хранящимся в базе знаний. 
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Алгоритм выбора продолжений мелодий из базы данных можно 
снабдить эвристическими правилами, регулируя их силу с помощью 
все тех же коэффициентов доверия (см. гл. 3). Естественно, что для 
разных музыкальных стилей будут и разные коэффициенты доверия. 
Эти коэффициенты можно изменять в процессе обучения, добиваясь 
улучшения качества сочиняемых мелодий. 

Изложенная выше методика компьютерного синтеза музыки лишь 
в упрошенной форме отражает процесс творчества композитора и не 
претендует на статус полной модели его деятельности. Тем не ме- 
нее эта модель в упрощенной форме отражает наши представления 
о творческой деятельности композитора. В ней есть база данных, 
содержащая художественное наследие, база знаний, состоящая из за- 
конов музыкальной гармонии, а также элемент вдохновения в виде 
начального приближения, которое можно задавать генератором случай- 
ных чисел. Существует также возможность совершенствования таланта 
компьютерного композитора за счет его обучения, например, путем 
модификации коэффициентов доверия используемых правил форми- 
рования продолжений мелодии. 

Интенсивное применение методов искусственного интеллекта в му- 
зыке началось в середине ХХ в. В 1957 г. американские исследователи 
М. Мэтьюз и Н. Гутман положили начало развитию целого класса му- 
зыкальных языков программирования: МОЅІС, С-Ѕоппа и т. д. Прове- 
денные ими эксперименты показали, что ряд искусственно сочиненных 
музыкальных произведений удовлетворяла критерию Тьюринга: слу- 
шатели-эксперты не смогли отличить машинную музыку от авторской. 

Методики, отражающие другие стороны музыкального творчества, 
были предложены в 1955г. учеными Иллинойского университета 
Л. Хиллером и Л. Исааксом. Они провели серию экспериментов, в ко- 
торых последовательно закладывались законы сольфеджио в базу зна- 
ний (гармонизация) и вводились разнообразные музыкальные ритмы 
и темпы. Был также использован датчик случайных чисел. 

На рисунке 8.2 изображена блок-схема программы, реализованной 
на машине «Иллиак». На входе программы генератором случайных чи- 
сел задавались целые числа, при помощи которых были закодированы 
нотные знаки. Каждое число пропускалось через последовательность из 
четырех контрольных схем (1—1У). Эти схемы пропускали в запомина- 
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Рис. 8.2. Блок-схема программы компьютерного сочинения музыки 
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ющее устройство только те числа, которые образовывали правильную 
(подчиняющуюся заложенным в контрольной схеме ограничениям) 
мелодическую линию. Законченный период запоминался, а затем вы- 
давался на печать и расшифровывался в виде нот. Если же хотя бы 
одна из схем задерживала хотя бы одну ноту, то управление вновь 
передавалось генератору случайных чисел и поиски правильной ноты 
продолжались. После 50 неудачных попыток подобрать нужную ноту 
мелодическая линия разрушалась и начинала выстраиваться новая ли- 
ния. За І ч работы машина «Иллиак» создавала 100 мелодий. Именно 
так была написана знаменитая «Иллиак-сюита» для струнного оркестра. 

Широкую известность в свое время получили музыкальные произ- 
ведения, сочиненные ЭВМ «Урал-2» по алгоритмам, разработанным 
советским математиком Р. Х. Зариповым. В его программах также ис- 
пользовался генератор случайных чисел, который выдавал не только 
код ноты, но и длительность и интервал между нотами. Эти данные 
проходили контроль на соответствие закономерностям базы знаний — 
законам музыкальной гармонии, полученным при анализе широкого 
круга музыкальных произведений. Программы Р. Х. Зарипова модели- 
ровали сочинение мелодий в мажоре или миноре, аккомпанемента 
к ним, сочинение мелодий на заданный стихотворный текст и ритм. 

Принципы, разработанные первыми программистами-музыковеда- 
ми, в настоящее время закладываются в схемы современных ор- 
кестровых электромузыкальных инструментов и широко используются 
композиторами и музыкантами. Однако этот инструментарий являет- 
ся вспомогательным, так как его применение ограничено написанием 
гармонии, аранжировок, сопровождений. Сами же темы по-прежне- 
му сочиняет человек. Дело в том, что создать хорошую простую 
мелодию неизмеримо сложнее, чем оркестровое произведение в аван- 
гардистской манере, перегруженное случайными звукосочетаниями 
и диссонансами. Когда композитор сочиняет мелодию, которая ста- 
новится популярной, происходит колоссальный прорыв вперед, так 
как это открытие нового, неизвестного ранее соотношения между 
музыкальными инвариантами. 

Современные компьютерные программы могут сочинять новые ме- 
лодии, которые приятно звучат и чем-то напоминают ранее известные, 
имеют хороший стиль и манеру, но в них всегда чего-то не хвата- 
ет, чтобы стать действительно популярными. Знаменитые «ҮеѕіегӣӢау» 
и «Лунная соната», да и не только они, сочинены не компьютером! 
Однако очень вероятно, что компьютер превзойдет человека и в этой 
области. Как это ни обидно сознавать, возможно, уже в совсем 
недалеком будущем молодежь будет петь и танцевать под компьютер- 
ную музыку, а великие произведения, сочиненные классиками, будут 
считаться экзотикой... 
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8.3. ТВОРЧЕСТВО В ПОЭЗИИ 


Считается, что задача моделирования стихотворчества несоизмеримо 
сложнее, чем задача моделирования сочинения музыкальных про- 
изведений. Как показали исследования русского языка, если одна 
буква делового языка несет 0,6 бит информации, буква обыкновенной 
разговорной речи — 1 бит, то буква поэтической речи — 1,5 бит. 

Не вдаваясь в философские и этические проблемы, подойдем к про- 
блеме моделирования поэтического творчества с помощью известных 
инструментальных средств. Например, можно воспользоваться извест- 
ным формализмом Бэкуса— Наура. Этот формализм применяется 
главным образом в связи с распознаванием и обработкой текстовой 
информации, машинным переводом, а также созданием систем есте- 
ственно-языкового общения. В формализме применяются следующие 
символы-операторы: 


::= — «определяется как» или «может быть переписан как»; 

| (вертикальная черта) — используется для разделения различных аль- 
тернативных возможностей; 

() (угловые скобки) — используются для заключения нетерминальных 
символов, т. е. символов, которые должны определяться одним 
из правил. В отличие от них символы, не заключенные в уг- 
ловые скобки, считаются терминальными и представляют лишь 
самих себя. 


Например, цифра в формализме Бэкуса— Наура определяется сле- 
дующим образом: 
(цифра) ::= 01213456 7 89, 


где (цифра) — нетерминальный символ, а каждая из цифр 0, 1, ..., 
9 — терминальный символ. 

Приведем некоторое множество правил упрощенного описания 
синтаксической структуры английского предложения. 


не существ. глагольн. существ. 
Ул 7 фрагмент / \ фрагмент фрагмент 
существ. определяемое 
Е а {= (артикль) а 
фрагмент существ. 
з. ( определяемоё\ ._ оет ани определяемое 
у существ. Е У у рех существ. 
АЕ) (глагол) о | (фрагмент наречия) 
° \фрагмент/ ^ фрагмент 
фрагмент существ. 
Я = (наречие) (предлог 
} наречия (нар (предлог) фрагмент 


К этим правилам мы добавим небольшой словарь. 


1. (артикль) ::= ајће 
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(существ.) ::= сатоиѕејаовјѓох (кошка, мышь, собака, лиса) 
(определение) ::= адисКЙа?у6томи|Ь/аск (быстрый, ленивый, бу- 
рый, черный) 

(глагол) ::= воеѕјитрѕ|гипѕ (идет, прыгает, бежит) 

(наречие) ::= ашсКу[еазПу (быстро, легко) 

(предлог) ::= оуеципаегёћгоивћ (над, под, через) 


юм 


в 


Приведенное множество синтаксических правил обычно использу- 
ется для синтаксического анализа текстовой информации. Однако этот 
же фрагмент можно использовать вместе с генератором случайных 
чисел для создания случайных предложений, подчиняющихся указан- 
ным синтаксическим правилам. Иными словами, можно запустить 
процедуру синтаксического анализа как бы в обратную сторону. 

Чтобы построить какое-нибудь предложение, процесс генерации 
нужно запустить с правила 1. Здесь имеются две возможности, и для 
выбора какой-то одной из них следует обратиться к генератору псевдо- 
случайных чисел. Затем процесс генерации развивается в соответствии 
с выбранной альтернативой. Если выбрана первая из возможностей, 
то управление сначала должно перейти к правилу 2 для создания «су- 
ществ. фрагмента», а после того, как это сделано, — к правилу 4 для 
создания «глагольн. фрагмента». Поскольку правила 2 и 4 в свою 
очередь передают управление другим правилам, то необходимо иметь 
стек («магазинную память») для напоминания о неоконченных мо- 
ментах в различных правилах. Когда осуществляется первая передача 
управления от правила 1 к правилу 2, в стек помещаются первый эле- 
мент и указатель на следующий по порядку элемент (в соответствии 
с выбранной альтернативой). 

Если в процессе генерации встречается терминальный символ, то 
он добавляется к выходной строке, которая создается. 

Приведенный способ генерации предложений позволяет получить 
такие фразы, как: «Тһе аиск Бгомп Юх јитрѕ оуег ће 1ату ор» — 
«проворная бурая лиса перепрыгнула через ленивую собаку». 

Всего в словаре приведенного множества содержится 18 слов, вы- 
ступающих в качестве терминальных символов: два артикля, четыре 
существительных, четыре прилагательных и т.д. Однако приведен- 
ный метод применим и к болыпим словарям, содержащим яркие, 
выразительные слова. Таким образом, можно заставить компьютер 
сочинять стихи, в которых, однако, не будет соблюдаться рифма. Для 
выдерживания рифмы необходимо введение дополнительных правил, 
рифмующих фразы. 

Для того чтобы сочиненные компьютером произведения имели 
смысл, необходимо ввести базу соответствующих знаний. Каждое вво- 
димое в словарь слово должно быть увязано с другими не только 
синтаксическими, но и семантическими связями. Различные сочетания 
слов должны быть оценены некоторыми оценивающими параметра- 
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ми, задающими уровень смыслового соответствия. Такие параметры 
должны использоваться при построении фраз, подобно тому как 
в экспертных системах при получении заключений используются ко- 
эффициенты доверия. Этими коэффициентами можно регулировать 
уровень осмысленности и степень абстрагизма создаваемого произве- 
дения, определять его характер, жанр и смысловую направленность. 

Как и в других интеллектуальных системах, в системах стихо- 
творчества коэффициенты доверия могут меняться в процессе работы 
программы, т. е. алгоритмы стихотворчества могут быть обучаемыми. 

Таким образом, существующий уровень развития инструменталь- 
ных средств и методов искусственного интеллекта позволяет создать 
более или менее приемлемые алгоритмы поэтического творчества. 
Это свидетельствует о том, что и этот вид человеческой деятельности 
в принципе поддается компьютерному моделированию. 


8.4. ТВОРЧЕСТВО В НАУКЕ 


Имитация творческой деятельности ученых — одна из главных задач 
научной области «искусственный интеллект». И на этом пути до- 
стигнуто немало впечатляющих результатов. Достаточно упомянуть: 
первую экспертную систему Р. Луллия, ставящую диагнозы и делаю- 
щую прогнозы на основании имеющихся научных знаний; разрабо- 
танную А. Ньюэллом и Г. Саймоном знаменитую программу «Логик- 
теоретик», автоматически доказывающую и формулирующую новые 
теоремы алгебры логики; многочисленные применения нейронных 
сетей, позволившие выявить и использовать неизвестные ранее зако- 
номерности исследуемых предметных областей. 

В этом разделе мы остановимся только на одной, но актуальной 
для ХХІ в. научной проблеме, которая пока еще ждет своего твор- 
ческого решения. Речь пойдет о современном кризисе прикладной 
математики. 

Развитие нашей цивилизации свидетельствует о продолжающемся 
повышении роли математического компьютерного моделирования как 
в научных исследованиях, так и в различных областях практической 
деятельности человека. Одним из наиболее популярных инструментов 
математического компьютерного моделирования является формули- 
ровка и решение краевых задач математической физики. 

В истории развития методов решения краевых задач можно про- 
следить три периода. Первый исторический период, продлившийся 
примерно до середины ХХ в., начался с основополагающих работ 
Ж. Л. Д’Аламбера и Ж. Б. Ж. Фурье, выполненных в ХУШ — начале 
ХІХ в. Путем разделения переменных им удалось получить ряд ре- 
шений дифференциальных уравнений в частных производных для 
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простейших областей, называемых каноническими, — круга, квадрата, 
цилиндра, шара и пр. Затем, на протяжении последующих полуто- 
ра веков, усилия математиков в этой области в основном сводились 
к развитию метода разделения переменных и изобретению других 
приемов, позволяющих получить решение той или иной краевой за- 
дачи для других дифференциальных уравнений, для других областей, 
с другими краевыми условиями. Каждое такое решение было собы- 
тием в математическом мире и отмечалось присуждением премий 
и присвоением регалий. Метод математического моделирования был 
доступен узкому кругу математиков-профессионалов, деятельность ко- 
торых представляла собой творческий проиесс сродни деятельности 
поэтов, художников, композиторов. 

Появление в середине ХХ в. быстродействующих электронно-вычис- 
лительных машин изменило эту ситуацию. Оказалось, что если разбить 
область решения краевой задачи на множество мелких подобластей 
(рис. 8.3) и для каждой подобласти ввести гипотезы, упрощающие 
физические свойства среды, то процесс интегрирования дифференци- 
альных уравнений можно свести к множеству элементарных арифме- 
тических действий. Таким образом, краевые задачи математической 
физики стало возможным решать с помощью ЭВМ «с позиции грубой 
силы», получая решение не в виде аналитических формул, а в виде 
массивов чисел. 

Так появилась на свет новая отрасль математики, называемая дис- 
кретной. На смену классическим аналитическим методам пришли 
численные алгоритмы, с помощью которых удалось создать универ- 
сальные пакеты прикладных программ, оснащенных удобными сер- 
висными средствами. Математическое компьютерное моделирование 
стало общедоступным и из творчества превратилось в ремесло. Мате- 
матики-аналитики с их хитроумными математическими выкладками, 
казалось, навсегда утратили свой авторитет и отошли в прошлое. 

Однако, как утверждают философы, жизнь развивается по спирали. 
Маятник, качнувшийся в одну сторону, должен обязательно откло- 
ниться и в другую. Увлечение численными методами в полной мере 
выявило не только их бесспорные преимущества, но и неустранимые 
недостатки. К числу последних относится невозможность надежной 
оценки погрешности расчетных результатов. Этот недостаток особенно 
ощутим в последнее время в связи с применением метода математиче- 
ского моделирования для расчета ответственных объектов и процессов, 
от которых зависит безопасность людей, государств, цивилизации. 

Следует заметить, что математический аппарат, которым пользова- 
лись математики минувших веков, был более надежен. Дело в том, что 
решения, полученные аналитическими методами в виде аналитических 
формул, могут быть проверены на удовлетворение дифференциальным 
уравнениям и краевым условиям решаемой задачи, т.е. их погрешность 
может быть оценена. 


8.4. Творчество в науке 185 


.1249ч 
6.151 

12.178 
18.205 
24.231 
30.258 
36.284 
41.311 
48.337 
54.364 


Рис. 8.3. Расчетная область — промышленный объект, разбита на множество 

подобластей — конечных элементов. Решение краевой задачи представле- 

но в виде цветной картинки — каждому цвету соответствует свой уровень 
напряжений 


Решения же, получаемые численными методами, представляют со- 
бой массивы чисел, о погрешности которых судят только по тому, как 
эти числа изменяются с увеличением количества разбиений расчетной 
области. Обычно полагают, что результатам можно доверять, если они 
перестают изменяться с измельчением сетки. Однако уже давно пока- 
зана теоретическая несостоятельность этого подхода [12, 66, 68, 86, 87]. 
Дело в том, что с измельчением конечноэлементной сетки ухудшается 
обусловленность матриц систем разрешающих алгебраических урав- 
нений. Это значит, что с измельчением сетки численные решения 
сходятся совсем не к искомым решениям краевых задач, что дела- 
ет практически невозможной надежную оценку точности расчетных 
результатов. 

К результатам, полученным численными методами, следует отно- 
ситься крайне осторожно, особенно если речь идет о расчетах объектов 
и процессов ответственного назначения. Тем не менее на современ- 
ном рынке программных средств имеется множество компьютерных 
программ, реализующих численные методы решения краевых задач 
теплопроводности, гидродинамики, теории упругости, теории электри- 
ческих, магнитных, гравитационных и даже торсионных полей. Эти 
пакеты снабжены удобными сервисными средствами, так что любой 
инженер может получать численные решения краевых задач прак- 
тически любой степени сложности. Но возникла другая серьезная 
проблема: оценить погрешности таких численных решений для слож- 
ных инженерных задач, как правило, не представляется возможным. 
В книге Л. Н. Ясницкого и Т. В. Данилевич «Современные проблемы 
науки» [68], а также в работах [66, 86, 87] эта парадоксальная ситуация 
названа «современным кризисом прикладной математики». 
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По прогнозам специалистов, ХХІ век — это век жестоких техно- 
генных катастроф, стихийных и экологических бедствий. Все чаще 
приходится слышать сообщения о падении ракет, самолетов, взрывах 
на ядерных станциях и промышленных объектах, обрушениях зданий. 
Среди прочих причин трагедий называются ошибки проектирования. 
Яркий пример — обрушение Московского аквапарка. Показательно то, 
что здесь явно прослеживаются попытки сокрытия истинных при- 
чин обрушения. В первоначальных заключениях следственных комис- 
сий обнаруживались и следы терроризма, и плохое качество цемента, 
и нехватка колонн для поддержания крыши. И только после обрушения 
второго здания, спроектированного тем же авторским коллективом, — 
здания Басманного рынка, причины трагедии стали очевидными для 
всех. Последнюю черту под расследованиями подвело телевизионное 
заявление руководителя проектов Надара Канчелли: «...во всем вино- 
вата компьютерная программа...», с помощью которой выполнялись 
прочностные расчеты. 

Если причины обрушения современных зданий, в конце концов, 
как-то выясняются, то гораздо хуже обстоят дела с расследовани- 
ями причин авиационных катастроф. Перед членами следственных 
комиссий, как правило, работниками заводов, создавших рухнувшие 
самолеты, ставится задача — «не запятнать честь своих коллективов!». 
В результате, по данным Межгосударственного авиационного комите- 
та, в более чем 80% случаев виновниками авиакатастроф признаются 
пилоты (которые погибли и потому не могут оправдаться). Полу- 
чается, что более 80% пилотов всех разбившихся самолетов были 
террористами или у них у всех без исключения суицид. Статисти- 
ческие данные Межгосударственного авиационного комитета явно 
противоречат здравому смыслу. 

Как показано в работах [12, 66, 68, 86, 87|, есть все основания 
полагать, что одной из причин наблюдающегося в последнее время 
роста техногенных аварий и катастроф является низкое качество со- 
временных компьютерных программ, используемых инженерами при 
проектировании конструкций ответственного назначения. Есть ос- 
нования ожидать, что современный кризис прикладной математики 
перерастет в кризис современной цивилизации. 

Сейчас, как никогда прежде, стали актуальными вопросы точности 
компьютерного математического моделирования. Малейшие ошибки 
в математических моделях, в частности в методах решения краевых 
задач, приводят к тяжелым экологическим, экономическим и соци- 
альным последствиям. Пришло время применять только такие модели 
и методы, которые могут гарантировать необходимую надежность рас- 
четных результатов. 

Выход из кризиса следовало бы искать в том, чтобы вообще от- 
казаться от численных методов решения краевых задач и применять 
только те методы, которые приводят к точным аналитическим решени- 
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Рис. 8.4. Математики-профессионалы ХМІП, ХХ, ХХ вв. — авторы точных 
решений краевых задач: 7 — Даниил Бернулли; 2 — Леонард Эйлер; 3— 
Жан Лерон Даламбер; 4 — Жан Батист Жозеф Фурье; 5 — Петр Федорович 
Папкович; б — Борис Григорьевич Галеркин; 7 — Сергей Александрович 
Чаплыгин; 5 — Николай Егорович Жуковский; 9 — Михаил Александрович 
Лаврентьев; /0— Анатолий Николаевич Лурье; 1/— Николай Иванович 
Мусхелишвили; 12 — Степан Прокофьевич Тимошенко 


ям. Но на современном рынке программной продукции программных 
пакетов, реализующих такие методы, практически нет. Их нет по- 
тому, что аналитические методы не универсальны и крайне плохо 
поддаются алгоритмизации. Они требуют творческого, интеллектуаль- 
ного подхода к решению практически каждой новой краевой задачи. 
Это связано с длительной и кропотливой работой высокообразован- 
ных математиков, с привлечением их опыта, интуиции, таланта. 
Точные решения краевых задач могли получать математики-аналити- 
ки ХУШ-Х[Х вв. (рис. 8.4), причем только для простейших областей. 
Сейчас же традиции научной школы математиков-аналитиков, созда- 
вавшейся на протяжении нескольких последних веков, к сожалению, 
в значительной степени утрачены. 

Более правильной представляется стратегия выхода из кризиса, 
состоящая в том, чтобы воспользоваться результатами очередной ком- 
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пьютерной революции — успехами в области искусственного интеллек- 
та. Надо научиться моделировать интеллект математиков-аналитиков 
прошлых веков, их интуицию, опыт, талант. Идея состоит в том, 
чтобы, моделируя интеллект математиков-профессионалов, научить 
компьютер получать точные аналитические решения любых краевых 
задач, таких, которые необходимы современным инженерам. 

Первые попытки компьютерной имитации творческой деятельно- 
сти математика-аналитика показали перспективность нового подхода. 
На сайте Пермского отделения Научного совета РАН по методоло- 
гии искусственного интеллекта ууу.РегтАТ.ги в разделе «Проекты» 
размещен доступный для общего пользования программный пакет 
«КЕС1ОМ5». Этот пакет, по существу, является экспертной системой, 
которая имитирует творческую деятельность математика-профессио- 
нала (эксперта), выполняющего решение краевой задачи. В основу 
пакета положен аналитический метод решения краевых задач — метод 
фиктивных канонических областей (ФКО). Этот метод, предложенный 
еще в начале 1970-х гг. Л. Н. Ясницким [77, 81], развитый В. А. Елты- 
шевым [20] и С. Л. Гладким [12], хотя и позволил в свое время найти 
точные аналитические решения ряда практически важных инженерных 
задач [12, 63, 77, 80, 85], однако не нашел широкого применения ввиду 
отсутствия универсальности. Дело в том, что успех решения краевой 
задачи методом ФКО в сильной степени зависит от опыта и интуи- 
ции применяющего его математика. Теперь же появилась возможность 
заложить в компьютер интеллект математиков-профессионалов в ви- 
де набора эвристических правил. Эти правила в большинстве случаев 
не имеют строгих математических доказательств и поэтому обладают 
различными коэффициентами доверия. Мы имеем дело с нечеткой 
математикой, характерной для систем искусственного интеллекта. 
Результат же применения нового подхода — точное аналитическое ре- 
шение краевой задачи, не нуждающееся в оценке погрешности и не 
вызывающее сомнений в своей надежности. 


КОНТРОЛЬНЫЕ ВОПРОСЫ И ЗАДАНИЯ 


1. Перечислите общие принципы построения математических мо- 
делей. 

2. Дайте определение инварианта и приведите примеры инвариан- 
тов, известных вам из математики, физики, искусства. 

3. Сформулируйте теорему Геделя и поясните, какое отношение 
она имеет к творчеству. 

4. Что такое творчество с точки зрения теории инвариантов? 

5. Сформулируйте теорему Мак-Каллока — Питтса и поясните, ка- 
кое отношение она имеет к творчеству. 


6. 


7. 
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Если бы вам предстояло писать программу компьютерного со- 
чинения музыки, какую бы блок-схему вы предложили? 
Поясните, каким образом можно использовать для сочинения 
стихов формализм Бэкуса—Наура. Как можно с помощью этого 
алгоритма придавать сочиненным произведениям смысл, изме- 
нять степень абстракции, определять его характер, жанр? 

В чем состоит и как проявляется современный кризис при- 
кладной математики? Возможно ли его преодолеть методами 
искусственного интеллекта? 


Глава 9 


НАСТОЯЩЕЕ И БУДУЩЕЕ 
ИСКУССТВЕННОГО ИНТЕЛЛЕКТА 
И ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ 


9.1. ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ 
И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ 


По мнению многих исследователей, единого общепризнанного опреде- 
ления искусственного интеллекта в настоящее время не существует, как 
не существует и универсального определения человеческого интеллекта. 
В ранний период возникновения и становления науки об ис- 
кусственном интеллекте с этим понятием связывали надежды на 
создание машин, способных мыслить и чувствовать, как человек, 
способных соперничать с человеческим мозгом и превзойти его. Эти 
идеи, на долгое время захватившие воображение энтузиастов, вызвали 
волну споров и критики. Они поставили ряд глобальных философских 
вопросов, так и оставшихся без ответа: 
— Можно ли создать мыслящую машину, если мы сами не знаем 
до конца, что такое мышление и каковы его механизмы? 
— Как мы можем понять и оценить, что у машины есть сознание, 
чувства, эмоции? 
— Не деградирует ли человечество, не превратится ли оно в слуг 
создаваемого им искусственного разума? 


В результате в искусственном интеллекте, как и во множестве 
других научных областях, произошло разделение исследователей на 
«романтиков» — теоретиков, занимающихся глобальными вопросами 
создания искусственного разума, и «прагматиков» — практиков, разви- 
вающих и реализующих идеи искусственного интеллекта для решения 
локальных практических проблем. Первое направление иногда называ- 
ют «сильным искусственным интеллектом» (Зтоп$ АТ), а второе — 
«слабым искусственным интеллектом» (Ўеак АП. Чтобы отделить 
себя от «философов», прагматики стали называть себя разработчиками 
интеллектуальных систем или систем искусственного интеллекта. 

Обе эти ветви искусственного интеллекта сосуществуют, взаимно 
дополняя и обогащая друг друга. Так, фундаментальная идея создания 
глобального искусственного разума в виде универсальной формулы 
знаний о мире, высказанная более 700 лет назад Раймундом Луллием 
(см. $ 1.1), нашла блестящее воплощение в экспертных системах 
(гл. 3), впервые превратив искусственный интеллект в высокорен- 
табельную сферу бизнеса. Идеи Мак-Каллока—Питтса—Розенблатта 
(см. $$ 4.1—4.5), предложивших способ моделирования мозга на 
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структурном уровне, стали основой нейроинформатики — науки, 
побившей все рекорды чрезвычайным многообразием практических 
приложений. Попытки объяснить механизм возникновения разума 
как результат взаимодействия и развития совокупности относительно 
простых сущностей, предпринятые Гербертом Саймоном, Джоном 
Холландом и другими исследователями, привели к появлению эффек- 
тивных инструментов решения широкого круга прикладных задач — 
генетическим алгоритмам и мультиагентным системам ($ 6.4). 

В то же время, успехи практического применения интеллектуальных 
систем являются, во-первых, критерием правильности заложенных 
в их основу гипотез и, во-вторых, стимулом дальнейшего развития 
и совершенствования этих гипотез, поводом для исследований мозга, 
раскрытия его новых тайн, все более полного понимания человеческого 
интеллекта. 

По-видимому, человеческий мозг так же, как и сам человек, никогда 
не будет познан до конца. Люди будут постоянно решать проблемы 
сильного искусственного интеллекта, сталкиваясь со все новыми 
трудностями и преодолевая их. И этот процесс видится бесконечным. 
Но тогда бесконечен и другой процесс — процесс создания и развития 
все более и более совершенных интеллектуальных систем. 


9.2. НЕЙРОННЫЕ СЕТИ И ЭКСПЕРТНЫЕ СИСТЕМЫ 


По мнению многих исследователей, интеллект — это очень сложная 
область знаний, которую невозможно описать с помощью какой- 
то одной теории. Поэтому ученые строят целую иерархию теорий, 
характеризующих интеллект на разных уровнях абстракции. На самом 
нижнем уровне этой иерархии находятся нейронные сети, генетические 
алгоритмы и другие формы эволюционирующих вычислений, а на более 
высоком уровне абстракции — экспертные системы. 

Остановимся на двух крайних иерархических ступенях — самой 
верхней и самой нижней. Отметим для начала, что строительство 
«здания» искусственного интеллекта началось не снизу, а сверху, 
причем с огромным разрывом во времени. Идея создания интеллекту- 
альной системы, основанной на явных знаниях, была высказана более 
700 лет назад Раймундом Луллием, а идея математического нейрона 
была опубликована Мак-Каллоком и Питтсем в 1943 г. Своего апогея 
в области практических приложений технология экспертных систем 
достигла в середине 80-х гг. ХХ в. Именно тогда, с конца 1980-х гг., 
и началась конкуренция на рынке программных приложений между 
экспертными системами и нейронными сетями, которая продолжается 
и по настоящее время. 

Строя прогнозы на будущее, многие авторы отмечают наметившуюся 
тенденцию к сближению этих двух крайностей в виде появления 
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гибридных интеллектуальных систем, использующих сразу обе техно- 
логии. Тем не менее очень часто при решении практических задач 
приходится выбирать, какой из этих двух конкурирующих технологий 
отдать предпочтение, поэтому укажем их плюсы и минусы. 

Основным недостатком нейронных сетей является их невербаль- 
ность. Если вывод, полученный экспертной системой, всегда можно 
логически обосновать, запустив «подсистему объяснений» (см. $ 3.2), 
то в случае применения нейронной сети такая возможность отсутствует. 
Другой их недостаток — отсутствие законченной фундаментальной тео- 
рии и, как следствие, отсутствие надежных и достаточно универсальных 
методик проектирования и обучения нейросетей, гарантирующих 
успех их применения. По этому поводу программисты шутят, что 
нейросетевые технологии все еще не стали в полной мере наукой 
и содержат элементы искусства и даже религии. 

Одним из главных преимуществ нейросетевых технологий явля- 
ется сравнительно низкая трудоемкость их создания и, как следствие, 
низкая себестоимость программной продукции. При нейросетевом 
моделировании отсутствуют такие трудоемкие и дорогостоящие про- 
цедуры, как извлечение знаний и их формализация (см. $ 3.3—3.5). 
Вместо этого предлагается целый арсенал алгоритмов обучения, 
осуществляющих автоматическое извлечение знаний, и стандартный 
способ их хранения в виде сил синаптических связей. 

Нейросети дают стандартный способ решения многих нестандарт- 
ных задач. Если для создания средней по сложности экспертной 
системы требуются месяцы и годы работы коллектива специалистов, 
включающего инженера-когнитолога, программиста, эксперта и поль- 
зователя (см. $ 3.2—3.3), то вполне прилично работающая нейронная 
сеть может быть сгенерирована всего с нескольких попыток и обучена 
рядовым пользователем нейропакета, скачанного из сети Интернет. 

К серьезному преимуществу нейросетевых технологий можно 
отнести принципиальную возможность выявления новых, еще неиз- 
вестных экспертам знаний. Нейросети особенно эффективны там, где 
нужен аналог человеческой интуиции, где законы и закономерности 
предметной области неизвестны, где существуют проблемы с их 
выявлением и формализацией. 

В противоположность нейросетям, экспертные системы оперируют 
только с теми знаниями, законами и закономерностями предметных 
областей, которые заложены в нее экспертом. В некоторых случаях 
экспертные системы тоже могут образовывать неизвестные экспертам 
логические цепочки и, таким образом, генерировать новые знания. 
Но эти знания формируются на основе правил, имеющихся в базе 
знаний, а потому, согласно терминологии теоремы Геделя (см. $ 8.1), 
«не расширяют аксиоматическую систему». Следовательно, процесс 
их получения не является актом творчества. Другими словами, 
знания, которые генерируют экспертные системы, не могут быть 
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принципиально новыми. Они не выходят за рамки знаний экспертов — 
авторов экспертной системы. В этом состоит их недостаток по 
сравнению с нейронными сетями. 

Как убедительно показывает мировой опыт, в частности материал 
данной книги, хорошо спроектированные и правильно обученные 
нейронные сети способны самостоятельно выявлять закономерности 
практически любых предметных областей и строить адекватные 
математические модели в промышленности, экономике и бизнесе, 
политологии, криминалистике, медицине, экологии, исторических 
науках и др. Причем, многократно фиксировались случаи, когда 
в процессе моделирования нейросети выявляли и использовали 
новые, неизвестные и даже необъяснимые пока знания и законо- 
мерности [79]. 

Так, в работе [7П (см. рис. 5.5) была спрогнозирована победа 
Д. А. Медведева за полтора года до президентских выборов 2008-го 
года, когда его личность как политика еще была мало известна. 
В работах [82] и [89], опубликованных в 2008 и 2010 гг., когда 
президент Д. А. Медведев был на вершине своей популярности, 
ему прогнозировалось снижение рейтинга (см. рис. 5.6, а), тогда 
как другому политику — В. В. Жириновскому — прогнозные кривые 
предсказали постепенный рост популярности (см. рис. 5.6,6), что 
и наблюдалось в последующие годы. 

Другой пример — в результате разработки нейросетевой системы 
диагностики заболеваний сердечно-сосудистой системы выявлены 
новые, неисследованные ранее медицинские знания и закономерности. 
В результате чего сделан вывод о необходимости корректировки 
существующей практики профилактики и лечения кардиологических 
заболеваний [69, 109] (см. $ 5.2). 

При разработке нейронной сети, предназначенной для определе- 
ния способности человека к предпринимательской деятельности [84], 
(см. $ 5.7) также выявлено влияние нетипичных факторов (например, цвет 
глаз). Учет этих факторов позволил повысить точность прогнозов, что, од- 
нако, не полдается логическому объяснению в рамках известных знаний. 

В нашей практике [79] было много случаев, когда с помощью ней- 
ронных сетей удавалось выявлять неизвестные ранее закономерности, 
причем такие, которые в рамках традиционной науки объяснить не 
удавалось, либо объяснения находились, но спустя некоторое вре- 
мя, после длительных обсуждений и после более детального изучения 
и экспериментального подтверждения. 

Вместе с тем не следует переоценивать возможности нейросетевых 
технологий. Обычно нейросети уступают детерминированным моде- 
лям в тех предметных областях, в которых знания известны и могут 
быть хорошо описаны и формализованы. Нейронные сети нет смыс- 
ла применять и там, где выходные параметры не зависят или слабо 
зависят от входных параметров. 
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Опыт показывает, что нейросети целесообразно использовать при 

следующих условиях, если: 

1) решение задачи затруднительно для человека; 

2) при решении задачи можно выделить множество входных факто- 
ров (сигналов, признаков, данных и т. п.) и множество выходных 
факторов; 

3) изменения входных факторов приводит к изменению выходных 
факторов; 

4) отсутствует возможность построения детерминированной мате- 
матической модели предметной области, основанной на явных 
знаниях. 

Несмотря на значительное количество уже известных практических 
приложений искусственных нейронных сетей, возможности их даль- 
нейшего использования для обработки сигналов окончательно не 
исчерпаны. Можно предположить, что искусственные нейронные се- 
ти еще в течение многих лет будут одним из основных инструментов 
поддержки принятия решений в условиях отсутствия точных моделей 
реальных процессов и явлений. 


9.3. НЕЙРОСЕТЕВЫЕ ТЕХНОЛОГИИ 
И МЕТОДЫ РЕГРЕССИОННОГО АНАЛИЗА 


Как известно, нейросетевые и нейрокомпьютерые технологии появи- 
лись в середине ХХ в. как новая стратегия искусственного интеллекта. 
Если до их появления искусственный мозг создавался как «черный 
ящик» (т.е. не важно, что внутри, лишь бы он решал интеллекту- 
альные задачи), то появление нейрокомпьютеров и нейронных сетей 
ознаменовало начало новой эры — создание компьютерных программ 
и компьютеров «по образу и подобию» человеческого мозга. Нейро- 
технологии стали называть низкоуровневой стратегией искусственного 
интеллекта, подчеркивая, что речь идет о моделировании на самом 
нижнем уровне абстрагирования — на уровне кирпичиков-нейронов, 
из которых состоит мозг. 

Однако математики обратили внимание на то, что за интригующи- 
ми словами о моделировании мозга кроется в общем-то несложный 
математический аппарат, ориентированный на решение традиционной 
математической задачи аппроксимации данных. Действительно, с мате- 
матической точки зрения обученная нейронная сеть — это нелинейная 
векторная функция, аппроксимирующая статистические данные. Она 
связывает входные (управляющие) и выходные (управляемые) слу- 
чайные величины. Такие функциональные зависимости в математике 
принято называть регрессионными уравнениями, поэтому нейросете- 
вые технологии можно классифицировать как один из новых методов 
построения регрессионных уравнений. 
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Чем этот новый метод отличается от классических методов регрес- 
сионного анализа? Чтобы ответить на этот вопрос, заметим прежде, 
что классические методы регрессионного анализа предполагают по- 
строение регрессионной модели, как любой линейной или нелинейной 
функции [104], без каких-либо ограничений на их вид. При этом ма- 
тематические формулы не связываются с какими-либо физическими 
или иными интерпретациями. 

В противоположность классическим технологиям регрессионного 
анализа, нейрокомпьютерые и нейросетевые технологии имеют глубо- 
кий физический, психологический и общефилософский смысл. Они 
моделируют мозг, причем как на функциональном, так и на струк- 
турном уровнях. 

Методы классического регрессионного анализа преследуют цель ап- 
проксимации статистических данных любыми математическими функ- 
циями, в большинстве случаев — линейными. Нейронные сети и ней- 
рокомпьютеры тоже строят аппроксимации, но в этих аппроксимациях 
используются только такие математические функции, согласно кото- 
рым, по мнению биологов, функционируют нейроны мозга. Преобразо- 
вания данных с помощью этих математических функций выполняются 
в той же последовательности, какая обнаружена биологами в натурных 
нейроэкспериментах. 

Если методы классического регрессионного анализа реализуют идеи 
гениальных людей-математиков, то нейрокомпьютерные и нейросе- 
тевые технологии реализуют изобретение самой Природы (Бога) — 
принципы построения и функционирования мозга. Следствием этих 
принципиальных различий являются различия возможностей нейро- 
сетевого и регрессионного моделирования. 

Нейросетевые технологии обладают следующими преимуществами 
по сравнению с традиционными методами регрессионного анализа: 

® Применение классических методов регрессионного анализа тре- 

бует введения гипотез о характере причинно-следственных связей 
между входными и выходными переменными, тогда как в случае 
применения нейросетевых технологий этого не требуется. 

® Применение классических методов регрессионного анализа не 

допускает наличия линейной корреляции между входными па- 
раметрами; для нейросетевых технологий данное требование со- 
блюдать не обязательно. 
® При применении классических методов регрессионного анализа 
часто приходится кластеризовать и без того немногочисленные 
наблюдения; нейросетевые технологии в большинстве случаев 
позволяют обойтись без предварительной кластеризации данных. 

® Для построения качественных нейросетевых моделей обычно тре- 
буются существенно меньшие объемы статистических данных, 
чем для построения регрессионных моделей. 
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® Статистические методы хорошо развиты только для одномерных 
случайных величин. Многомерные статистические модели ли- 
бо предполагают гауссово распределение наблюдений, что часто 
не выполняется на практике, либо не обоснованы теоретиче- 
ски. В многомерной статистике, за неимением лучшего, нередко 
применяют малообоснованные эвристические методы, которые 
по своей сути очень близки к технологии нейронных сетей. 

е При применении нейросетевых технологий имеется возможность 
распараллеливания вычислительных процессов между отдель- 
НЫМИ нейронами, в результате чего получается значительный 
выигрыш по времени. 

е Встречаются случаи, когда применение нейросетевых технологий 
дает положительный результат, в то время как методы класси- 
ческого регрессионного анализа оказываются бессильны. 


В качестве недостатка метода нейросетевого моделирования по 
сравнению с классическими методами регрессионного анализа мож- 
но указать недостаточную развитость теоретической базы. Из этого 
вытекает отсутствие четких инструкций по разработке оптимальных 
нейросетевых моделей, учитывающих особенности конкретных пред- 
метных областей. Именно по этому поводу некоторые специалисты 
называют процесс создания нейросетевых моделей в большей степени 
искусством, чем наукой. 

Преимуществом классических регрессионных моделей является так- 
же возможность объяснения моделируемых явлений. Так, если входные 
данные имеют одинаковую размерность и нормированы, то иногда по 
величине коэффициентов перед слагаемыми регрессионного уравнения 
судят о величине статистической значимости вклада соответствующего 
входного параметра в результат моделирования, т. е. судят о его объ- 
ясняющих качествах. В нейронных же сетях подобные оценки обычно 
затруднены из-за сложности их структуры. С целью упрощения ней- 
ронных структур и их вербализации авторы [14] рекомендуют способ 
редуцирования, после применения которого нейросеть становится про- 
зрачной для понимания. Однако применение этого метода приводит 
к снижению точности математических нейросетевых моделей. 

В работах [56, 63] рекомендуется другой способ определения значи- 
мости входных параметров нейросетевых моделей. Его суть заключается 
в том, что из нейронной сети поочередно исключаются входные нейроны 
и осуществляется поочередное обучение таких усеченных сетей. За- 
тем строится гистограмма, показывающая распределение погрешностей 
обобщения нейросетей по каждому исключенному входному параметру 
(входному нейрону). Понятно, что чем выше оказывается эта погреш- 
ность, тем значимее соответствующий исключенный входной параметр. 

В заключение отметим, что вопрос о преимуществах той или иной 
технологии часто является предметом длинных и ни к чему не приводя- 
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щих дискуссий. Специалисты, глубоко освоившие одну из технологий, 
выступают с критикой другой технологии, и наоборот. 

С точки зрения автора книги, вряд ли стоит противопоставлять 
эти две технологии. Опыт показывает, что для успешного достиже- 
ния целей полезно пользоваться всеми доступными технологиями, 
независимо от их идеологической базы. 


9.4. НЕЙРОСЕТЕВЫЕ ТЕХНОЛОГИИ И МЕТОД 
МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ 


Ранее мы уже говорили о том, что метод математического моделирова- 
ния является одним из самых мощных и перспективных современных 
инструментов получения научных и практических знаний, что он сыг- 
рал огромную роль в формировании нашей цивилизации и что эта 
роль в последнее время все более усиливается. 

Следует заметить, что сам метод математического моделирования, 
как таковой, возник много веков назад одновременно с математи- 
кой. Собственно говоря, цель математики всегда состояла в том, 
чтобы отражать (т. е. моделировать) на своем специфическом языке 
закономерности окружающего мира. 

Грандиозный толчок развитию метода математического моделирова- 
ния во второй половине ХХ в. дало появление компьютерных техноло- 
гий. Помимо того что компьютер взял на себя «черновую» работу, свя- 
занную с обработкой и визуализацией информации, он еще и научился 
выполнять такие интеллектуальные этапы математического моделиро- 
вания, как, например, поиск решений математических уравнений. 

Однако при всем этом за человеком оставался самый первый этап, 
связанный с построением, или, как говорят, с формулировкой ма- 
тематических моделей. За человеком оставалось выявление значащих 
(влияющих на результат моделирования) входных параметров модели. 
За человеком оставалось решающее слово о том, какие законы при- 
роды, какие закономерности изучаемой предметной области (объекта, 
процесса, явления) следует заложить в математическую модель. 

Кстати, знание законов природы — это одно из основных достояний 
нашей цивилизации. Законы природы открывались учеными в твор- 
ческих поисках, экспериментах и научных дискуссиях на протяжении 
всей истории человечества. 

И вот, в конце ХХ—начале ХХІ в. мы становимся свидетелями 
события, значение и масштабы последствий которого в истории ци- 
вилизации мы пока до конца еще не осознали. Мы становимся 
свидетелями того, как эти «святые», высокоинтеллектуальные, сугубо 
«человеческие» функции берет на себя компьютер. 

Оказывается, он способен заменить человека и здесь. 

Оказывается, он может (страшно подумать!) совершать научные 
открытия. 
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Он может открывать законы природы и сам закладывать их в ма- 
тематические модели! 

Другими словами, компьютер теперь может не только помогать че- 
ловеку реализовывать его идеи в виде математических моделей, но 
и сам создавать математические модели. Он теперь может полностью 
осуществлять весь процесс математического моделирования от «А» до 
«Я». Причем во многих случаях компьютер справляется с созданием 
математических моделей лучше, чем человек. Например, компьютер 
может выявлять и учитывать в создаваемых им моделях закономер- 
ности и внутренние связи, не известные специалистам (см. гл. 5). 
В результате модели, создаваемые компьютером, учитывают боль- 
шее количество факторов и закономерностей, влияющих на результат 
моделирования, что, конечно же, улучшает качество моделей. 

Что же это за компьютер, который может не только обрабаты- 
вать математические формулы и решать математические уравнения, но 
и самостоятельно формулировать эти формулы и уравнения, извлекать 
их из анализа предметных областей? 

Как мы убедились, изучив наш курс, это не совсем обычный ком- 
пьютер. Все, что может обычный (фон-неймановский) компьютер — это 
складывать и вычитать двоичные числа. Как известно, более сложные 
операции, такие как умножение, деление и возведение в степень, обыч- 
ный компьютер сводит к сложению и вычитанию, как и все остальное, 
что он вообще умеет делать. Согласитесь, что это совсем не то, что 
происходит в мозге ученого, когда он совершает научные открытия. 

Открывать законы ирироды способен только человек, точнее — его 
мозг. 

Значит, комиьютер должен быть адекватен мозгу. 

Значит, компьютер должен быть создан, как сказано в Библии, 
«по образу и подобию», но только не Бога, а человеческого мозга. 

Здесь уместно процитировать слова из Библии: «И сказал Бог: 
сотворим человека по образу Нашему и по подобию Нашему...» !). 

Именно идея создания компьютеров и компьютерных программ, 
работающих подобно человеческому мозгу, и лежит в основе одно- 
го из самых увлекательных и плодотворных разделов искусственного 
интеллекта — нейроинформатики. 

Нейрокомпьютер (или его программная реализация — нейронная 
сеть), как и человеческий мозг, состоит из множества соединенных 
между собой элементарных ячеек — искусственных нейронов. Принцип 
их действия во многом аналогичен принципу действия биологических 
нейронов, из которых состоит мозг. Как и в мозге, нейроны нейроком- 
пьютера соединены между собой множеством связей, через которые 
происходит обмен электрическими сигналами. Как и биологические, 
нейроны нейрокомпьютера могут переходить в возбужденное состояние, 
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вырабатывая и посылая электрические сигналы другим нейронам. При- 
чем переход в возбужденное состояние каждого нейрона тем вероятнее, 
чем большее количество сигналов он получил от других нейронов. 

Согласно распространенным нейрофизиологическим представлени- 
ям, вся информация, хранящаяся в мозге, закодирована в виде матрицы 
сил синаптических связей. Она представляет собой множество значе- 
ний электропроводности проводников, соединяющих биологические 
нейроны. Эти значения по мере жизнедеятельности мозга постоянно 
меняются, чем обеспечивается накапливание и корректировка храня- 
щейся в мозге информации. Подобный механизм в нейрокомпьютере 
имитируется путем соответствующего изменения синаптических весо- 
вых коэффициентов, выполняющих роль электропроводности соеди- 
няющих нейроны проводников. Таким образом, в нейрокомпьютере, 
как и в мозге, вся информация представляется и хранится в виде 
матрицы сил синаптических связей нейронов. 

В отличие от обычного компьютера нейрокомпьютер не программи- 
руется, а подобно человеку обучается; при этом происходит корректи- 
ровка сил синаптических связей. Обучение проводится на обучающих 
примерах, содержащих информацию о моделируемой предметной об- 
ласти. Например, чтобы нейрокомпьютер «открыл» теорему Пифагора, 
надо нарисовать несколько различных прямоугольных треугольников, 
измерить длины их гипотенуз и катетов и передать эту информа- 
цию нейрокомпьютеру. Если измерения выполнены правильно и тре- 
угольников было достаточно много, то можно не сомневаться, что 
нейрокомпьютер повторит подвиг великого геометра древности! 

Поступая аналогичным образом и собирая информацию о соответ- 
ствующих предметных областях, можно при помощи нейрокомпьютера 
заново открыть закон Архимеда, законы Ньютона, все фундаменталь- 
ные законы физики, химии, биологии, экономики и всех других наук. 

Таким образом, нейрокомпьютерные и нейросетевые технологии, 
по существу, открывают принципиально новый подход к самой ме- 
тодике построения компьютерных математических моделей. 

Появилась возможность строить математические модели, которые, 
исходя из одного только эмпирического опыта — обучающих примеров, 
сами извлекают закономерности предметных областей и позволяют 
эффективно использовать эти модели для решения широкого круга 
практических задач. При этом человеку — создателю нейрокомпью- 
тера — не обязательно задумываться над законами физики, химии, 
биологии, экономики и т. д., нейрокомпьютер обнаруживает их сам. 

С появлением нейросетевых и нейрокомпьютерных технологий по- 
явился новый способ построения математических моделей. Появился 
новый способ получения научных знаний, новый инструмент ин- 
теллектуального анализа данных, позволяющий выявлять ранее не 
известные, еще не исследованные зависимости и закономерности 
и активно использовать их для решения практических задач. 
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9.5. ФИЛОСОФСКИЕ ПРОБЛЕМЫ 
ИСКУССТВЕННОГО ИНТЕЛЛЕКТА 


Прежде чем обсуждать философские проблемы искусственного интел- 
лекта, вспомним еще раз краткую историю его появления и развития. 

Исторически первой была высокоуровневая стратегия искусствен- 
ного интеллекта, в основе которой лежал явный способ представления 
знаний, формируемых человеком-экспертом. Эта стратегия безраздель- 
но господствовала начиная с ХШ в. до середины ХХ в. Появление 
в 1940-х гг. низкоуровневой стратегии — создание нейрокомпьютера, 
получающего знания в процессе обучения, и его первые успехи были 
встречены с надеждами и энтузиазмом, который, однако, продержался 
недолго. К середине 1980-х гг. подавляющее большинство систем ис- 
кусственного интеллекта представляли собой экспертные системы, ори- 
ентированные на конкретные предметные области. Однако победа вы- 
сокоуровневой стратегии была временной. Конец ХХ в.—начало ХХІ в. 
ознаменовались широкомасштабным наступлением нейросетевых и ней- 
рокомпьютерных технологий. Эти технологии пришли не только в новые 
предметные области, но и стали вытеснять экспертные системы из обла- 
стей, где они традиционно применялись ранее. И вот уже в течение по- 
лувека между высоко и низкоуровневой стратегиями идет конкуренция. 

Третья стратегия искусственного интеллекта, появившаяся на свет 
в середине 1970-х гг., навеяна Дарвиновской теорией возникновения 
и эволюции жизни на Земле. Эта стратегия предполагает поиск источ- 
ника интеллекта в самом процессе эволюции и взаимодействия особей. 
Знания в эволюционных моделях приобретаются в ходе конкурентной 
борьбы между особями. 

На сегодняшний день безусловным лидером как в области тео- 
ретических исследований, так и в части практических приложений 
являются нейросетевые и нейрокомпьютерные технологии. Попытки 
моделирования мозга на самом низком уровне абстрагирования — на 
уровне нейронной структуры — показывают себя как наиболее плодо- 
творные технологии создания интеллектуальных систем. 

Искусственный интеллект сегодня является лидирующей научной 
отраслью, поэтому как никакая другая дисциплина он нуждается 
в философском осмыслении результатов, парадигм, стратегий, мето- 
дов. Как и всякая научная область, искусственный интеллект имеет 
свои корни в философии. Корни высокоуровневой стратегии ис- 
кусственного интеллекта можно найти, например, в аристотелевской 
«Логике», а в полном объеме формальная аксиоматизация логических 
рассуждений представлена в работах таких великих философов, как 
Готлоб Фреге, Бертран Рассел, Курт Гедель и др. 

Однако работы великих философов прошлого, разумеется, не охваты- 
вают коренных изменений, которые искусственный интеллект претерпел 
совсем недавно, т.е. в конце ХХ — начале ХХ] вв. К таким коренным 
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изменениям в первую очередь относится создание нейрокомпьюте- 
ра, построенного по образу и подобию человеческого мозга. Именно 
появление нейрокомпьютера и феномен триумфального практическо- 
го внедрения нейросетевых и нейрокомпьютерных технологий менее 
всего исследованы философами, но более всего в этом нуждаются. 

Для философской оценки последствий появления нейрокомпью- 
тера и связанных с этим событий попробуем обратиться к широко 
известной библейской легенде, согласно которой Бог создал Адама 
и Еву по своему «образу и подобию». Создал, по-видимому, с опре- 
деленной целью, ожидая от них определенных качеств и результата. 
Однако в последующем люди обнаружили несколько иные качества, 
чего Создатель, вероятно, не ожидал. И, согласно библейским преда- 
ниям, за одно из таких незапланированных и непредвиденных качеств 
Адам и Ева были выдворены из Рая... 

Обратимся теперь к истории создания нейрокомпьютера. Как от- 
мечает создатель первого нейрокомпьютера Ф. Розенблатт [48, 102], 
персептрон (нейрокомпьютер) был построен «по образу и подобию» 
человеческого мозга и предназначался для решения задачи узнавания 
букв латинского алфавита, причем только тех, которым он обучался. 
И эта цель Розенблаттом была успешно достигнута. Однако, наблю- 
дая за последующими событиями, можно заключить, что со временем 
нейрокомпьютер стал проявлять такие свойства, которых его создатель 
(Ф. Розенблатт) от него не ожидал. Вот некоторые из них. 

1. Способность к обобщению (см. $ 4.4) — персептрон, обученный 
распознавать определенное количество образов, вдруг оказывается спо- 
собным распознавать не только те образы, которым его обучали, но 
и такие, которых в обучающем множестве не было, т.е. образы, 
которых он никогда «не видел». 

2. Интуиция, или «шестое чувство» (см. $$ 5.3, 5.9), — способ- 
ность нейронных сетей и нейрокомпьютеров делать правильные выво- 
ды, руководствуясь информацией, которой для логического объяснения 
таких выводов недостаточно. 

3. Живучесть. Известны случаи, когда люди продолжали совер- 
шать разумные поступки, потеряв в результате физической травмы 
до 30% объема мозга. То же самое происходит с нейрокомпьютера- 
ми: при выводе из строя отдельных нейрочипов нейрокомпьютеры 
продолжают решать поставленные задачи. 

4. Свойства невербальности, гиперразмерности ($ 5.9), а также способ- 
ность к извлечению знаний из данных также можно отнести к свойствам, 
заимствованным нейронными сетями и нейрокомпьютерами от мозга. 


Отметим еще раз, что перечисленные свойства нейронных сетей 
и нейрокомпьютеров не предусматривались их создателями заранее, 
а обнаружились в процессе эксплуатации. Эти свойства появились 
сами по себе вследствие ТОГО, ЧТО нейросети и нейрокомпьютеры 


202 Глава 9. Настоящее и будущее искусственного интеллекта 


являются моделями мозга. Они выполнены «по образу и подобию» 
человеческого мозга, поэтому нет ничего удивительного в том, что они 
(как и в случае примера из Библии) на вполне законных основаниях 
наследуют свойства своего прототипа. 

Вышеприведенные рассуждения и факты свидетельствуют о том, что 
между нейрокомпьютером как моделью человеческого мозга и чело- 
веком как «моделью Бога» существует некая аналогия. Возможно, эту 
аналогию можно взять за основу при прогнозировании последствий 
развития искусственного интеллекта и интеллектуальных систем. Воз- 
можно, искусственная модель человека будет и дальше обнаруживать 
непредусмотренные создателями свойства, и между моделями и их 
прототипами — людьми — могут возникнуть непонимание и проблемы, 
подобные тем, которые описаны в Библии... 


9.6. ПРОГНОЗЫ НА БУДУЩЕЕ 


Трудно назвать какую-либо другую научную область, которая могла 
бы сравниться с искусственным интеллектом по изобилию прогно- 
зов ее будущих успехов. Ученые строили прогнозы возможностей 
искусственного интеллекта во все времена, связывая эти прогнозы 
с будущим человечества. Причем далеко не всегда человеческое об- 
щество воспринимало прогнозы ученых с благодарностью. Взять хотя 
бы основателя искусственного интеллекта Раймунда Луллия (рис. 9.1), 
поплатившегося жизнью за свои смелые убеждения (см. $ 1.1) 

Особое место в серии прогнозов будущего искусственного ин- 
теллекта занимают знаменитые предсказания нобелевского лауреата 
Герберта Саймона (рис. 9.2), опубликованные в 1957 г.: 

— В ближайшее десятилетие ЭВМ завоюет титул чемпиона 

мира по шахматам. 


Рис. 9.1. Основатель искусствен- Рис. 9.2. Нобелевский лауреат 
ного интеллекта Раймунд Лул- Герберт Саймон (ХХ в.) 
лий (ХШ-ХУ вв.) 
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— В пределах десяти лет ЭВМ откроет и сумеет доказать 
новую важную математическую теорему. 

— В десятилетний срок большинство теорий в области психо- 
логии примет вид программ для вычислительной машины. 


С тех пор прошло более полувека, и мы можем констатировать, 
что два первых предсказания, хотя и с большим опозданием, но сбы- 
лись. Компьютерная программа «Оеер Вше» однажды выиграла матч 
у чемпиона мира по шахматам, а программа «Логик-теоретик» сфор- 
мулировала две новые теоремы алгебры логики. Однако о третьем 
предсказании Саймона мы ничего подобного пока сказать не можем, 
если не считать некоторые весьма скромные попытки применения 
методов искусственного интеллекта в психологических проблемах (на- 
пример [61, 67, 76, 78, 79]), а также психодиагностические программы 
сайта ууу.РегтАТ.ги. 

Ажиотаж вокруг искусственного интеллекта и серия радужных 
прогнозов журналистов и писателей-фантастов в середине ХХ в., вы- 
званные первыми успехами персептрона, закончились провалом аме- 
риканского военно-стратегического проекта «Свой—Чужой» и объяв- 
лением искусственного интеллекта тупиковым научным направлени- 
ем (см. $ 4.6). Не прибавили авторитета искусственному интеллек- 
ту и нескончаемые споры философов на тему «Может ли машина 
мыслить?», популярные в конце ХХ в. и продлившиеся вплоть до 
настоящего времени. 

Что происходит сейчас? 

Нейроинформатика вышла из научного и прикладного тупика 
1960—1970-х гг. Сейчас искусственный интеллект является одной из 
самых востребованных и быстро развивающихся научных областей. 

Искусственный интеллект стал модным, и это настораживает. 

Настораживают громкие прогнозы, которые делают современные 
отечественные ученые (рис. 9.3), объединившиеся в общественное дви- 
жение «Россия 2045». 

Цель этого движения: «К 2045 году сделать человека бессмерт- 
ным». 


ФА 
Рис. 9.3. Лидеры движения «Россия-2045» (слева-направо): Д. И. Дубров- 
ский, В. И. Аршинов, В. Л. Дудин-Барковский, А. Я. Каплан (ХХІ в.) 


204 Глава 9. Настоящее и будущее искусственного интеллекта 


Не менее смелые предсказания сделал Рэй 
Курцвейл (рис. 9.4) — технический директор 
программ искусственного интеллекта в ком- 
пании Соозе. В 2005 г. он опубликовал се- 
рию прогнозов на 2099 г. Вот некоторые из 


НИХ. 

— Естественный процесс мышления не 
будет иметь преимущества по срав- 
нению с машинным. Системы искус- 
ственного интеллекта получат рав- 
ные права с человеком. Разнииа между 

Рис. 9.4. Технический человеком и машиной исчезнет. 
директор программ ис- — Системы искусственного интеллек- 
кусственного интеллек- та превзойдут йо численности есте- 
та компании Соойе ственных людей. 

Р. Курцвейл (ХХ в.) — Несмотря на недостатки естествен- 


ных людей, системы искусственного 
интеллекта уважают их как своих 
прародителей. 


Мы воздержимся от обсуждения приведенных выше прогнозов, 
а вместо этого изложим собственное видение будущих успехов си- 
стем искусственного интеллекта, основываясь на наших собственных 
результатах, которыми мы реально располагаем уже сейчас. 

По нашему мнению, в ближайшие десять лет реально наступление 
следующих событий. 

1. Реально создание интеллектуальных медико-диагностических 
систем, превосходящих по точности постановки диагнозов есте- 
ственных врачей. Реально выявление с помощью интеллектуаль- 
ных систем новых неизвестных ранее медицинских знаний и ис- 
пользование этих знаний для улучшения качества медицинской 
практики. 

Одна из таких интеллектуальных систем — «Система диагностики 
и прогнозирования заболеваний сердечно-сосудистой системы» — вы- 
ложена в свободном доступе на сайте уууму.РегтАТ.гиа. С помощью нее 
выявлены новые неизвестные ранее знания (см. $ 5.2, а также [69, 108, 
109]), которые используются для совершенствования существующей 
практики лечения и профилактики заболеваний сердца. 

2. Реально создание интеллектуальных систем диагностики 
сложных технических устройств, превосходящих по своим воз- 
можностям и точности известные инженерные методики. Их 
внедрение в инженерную практику позволит повысить надеж- 
ность технических устройств и, таким образом, способствовать 
решению проблемы снижения техногенных аварий и катастроф — 
актуальной проблемы ХХІ в. 
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Наш опыт разработки нейросетевых систем диагностики авиацион- 
ных двигателей показал (см. $ 5.3, а также [30]), что интеллектуальные 
системы позволяют выявлять такие дефекты, которые обычными ин- 
женерными методами выявлены быть не могут. 

3. Реально создание интеллектуальных систем, способных по- 
лучать точные аналитические решения краевых задач матема- 
тической физики, что позволит преодолеть современный кризис 
прикладной математики (см. $ 8.4., а также [12, 68, 77, 80, 86]). 
Реально внедрение таких интеллектуальных систем в инженер- 
ную практику, что также будет способствовать снижению числа 
техногенных аварий и катастроф. 

С нашего сайта уму.РегтАТ.ги можно обратиться к демонстраци- 
онному прототипу интеллектуальной системы «Искусственный мате- 
матик», способной получать точные аналитические решения краевых 
задач теории упругости, теплопроводности, термоупругости и др. 

4. Реально создание интеллектуальных систем, прогнозирующих 
экономическое состояние предприятий и позволяющих разрабаты- 
вать рекомендации по оптимизации их деятельности. 

В работе [70] описан опыт создания нейросетевой системы про- 
гнозирования вероятности банкротства российских банков. Помимо 
прогнозов, система позволяет получать полезные рекомендации по 
предотвращению банкротства конкретных банков. Программа выло- 
жена на сайте мму.РегтАТ.ги. 

5. Реально создание интеллектуальных систем, предназначенных 
для прогнозирования развития политических событий и влияния на 
эти события. 

В $55.6 описан случай успешного прогнозирования победы 
Д. А. Медведева на президентских выборах 2008 г., выполненного за 
полтора года до этих выборов [71]. Там же (см. также [82]) при- 
ведены подтвердившиеся впоследствии результаты прогнозирования 
рейтингов известных политических деятелей, а также рекомендации 
по улучшению этих рейтингов. 

6. Реально создание и применение интеллектуальных систем 
в области криминалистики. 

В работе [73] описан опыт создания нейросетевого детектора лжи, 
значительно превосходящего известные штатные аналоги по точности 
заключений. 

В работе [61] изложен опыт создания интеллектуальной систе- 
мы, предназначенной для изучения личности и выявления серийных 
убийц. Программа, оценивающая склонность человека к насилию, 
выложена на сайте уууууу. РегтАТ.ги. 

7. Реально создание интеллектуальных систем, предназначенных 
для прогнозирования результатов спортивных состязаний и для оп- 
тимизации программы подготовки спортсменов с целью получения 
ими наивысших спортивных результатов. 


206 Глава 9. Настоящее и будущее искусственного интеллекта 


В нашей практике нейронные сети уже применялись для прогно- 
зирования результатов Олимпийских игр 2014 г. [65, 83], чемпионата 
мира 2015 г. [74, 75], а также при разработке рекомендаций для из- 
вестных спортсменов: фигуриста Е. В. Плющенко [65| и спортсменов- 
бегунов [74]. 

8. Реально создание и широкое применение интеллектуальных 
систем в психологии. 

Напомним третье предсказание нобелевского лауреата Герберта 
Саймона: 

— В десятилетний срок большинство теорий в области психологии 

примет вид программ для вычислительной машины. 

Мы знаем, что два первых предсказания, хотя и с опозданием, 
но сбылись. Однако о третьем предсказании Саймона мы ничего 
подобного пока сказать не можем. Почему? 

Пытаясь решать задачи психодиагностики, психологи выдвигают 
различные гипотезы, называют в качестве наиболее важных те или 
иные факторы, влияющие, по их мнению, на способности и пред- 
расположенности человека. Они вводят такие труднодоступные для 
количественной оценки понятия, как «сила воли», «сила характера» 
и др., разрабатывают различные тесты для их измерения. Естествен- 
но, что при сборе статистической информации возникают проблемы, 
особенно если речь идет о человеке, жившем в прошлых веках. В то 
же время, психологи обычно не обращают внимания на легкодоступ- 
ную информацию о людях, известную, например, из астрологических 
или нумерологических баз, отвергая ее как лженаучную. 

По-видимому, психологи еще не полностью освоили и оценили воз- 
можности современных методов интеллектуального анализа данных, 
которые позволяют на начальных стадиях создания интеллектуаль- 
ных систем в качестве входных параметров вводить любое количество 
любых факторов. Затем в ходе исследований математические модели 
позволяют выяснить, какие из этих параметров действительно влия- 
ют на результат моделирования, а какие — нет, вне зависимости от 
того, признаются эти факторы официальной наукой или нет. 

Заметим, что наш небольшой опыт применения нейросетевых тех- 
нологий для создания интеллектуальных систем, выявляющих спо- 
собности и предрасположенности человека, оказался весьма успеш- 
ным. Так, в работе [78] описана интеллектуальная система, выяв- 
ляющая способность человека к руководящей деятельности, в [3] — 
к научной деятельности, в [84] —к бизнесу. В [76] описана ин- 
теллектуальная система, способная прогнозировать степень успеш- 
ности будущей карьеры студентов вуза, что позволяет оптималь- 
ным способом подбирать траектории их обучения. В [67] приведен 
опыт создания системы, определяющей предрасположенность под- 
ростков к наркотической зависимости, а также позволяющей по- 
лучать индивидуальные рекомендации по снижению такой зависи- 
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мости. В [61] — предрасположенность человека к насилию. Имеются 
программы, оценивающие предрасположенность человека к суици- 
ду, анорексии и др. Все программы находятся в свободном до- 
ступе в разделе «Проекты» сайта уму.РегтАТ.ги. Помимо коли- 
чественной оценки способностей, склонностей и предрасположен- 
ностей людей, с помощью этих программ можно получать по- 
лезные рекомендации по их развитию или, наоборот, — нивелиро- 
ванию. 

Таким образом, у нас есть все основания надеяться, что третье пред- 
сказание Герберта Саймона о широком применении компьютерных 
программ в психологии в скором времени также сбудется. 

9. Реально применение методов искусственного интеллекта в об- 
ластях, выходящих за рамки традиционных наук. Реально получение 
новых, ранее неизвестных, но полезных для практики знаний, в том 
числе таких, которые меняют наше представление о мире. Можно 
надеяться, что методы искусственного интеллекта помогут на- 
конец разгадать загадки эзотерики, уфологии, астрологии и других 
учений, выходящих за рамки официального миропонимания. 

Как уже отмечалось, на нашем сайте уууу\у.РегтАТ.ги выложены 
интеллектуальные системы, позволяющие ставить диагнозы медицин- 
ских заболеваний, выявлять способности людей к бизнесу, к научной 
деятельности, к руководящей деятельности, склонности к наркома- 
нии, суициду, анорексии, насилию и другим порокам. Во многих 
случаях низкая погрешность результатов, зафиксированная при те- 
стовых испытаниях программ, обеспечивается тем, что, помимо тра- 
диционных входных параметров, учитываются еще и такие парамет- 
ры, как солнечная активность, фазы луны, градусы небесных тел 
в момент рождения человека и др. Природу влияния таких пара- 
метров пока не удается объяснить в рамках современного уровня 
развития науки. Но это не мешает их использовать при создании 
эффективных и весьма полезных для практики интеллектуальных 
систем. 


КОНТРОЛЬНЫЕ ВОПРОСЫ И ЗАДАНИЯ 


1. Постарайтесь дать определение человеческого интеллекта и ис- 
кусственного интеллекта. 

2. В чем разница между сильным и слабым искусственным интел- 
лектом? 

3. Перечислите уровни абстракции, на которых разрабатываются 
теории искусственного интеллекта. 

4. Перечислите преимущества и недостатки нейросетевых техноло- 
гий по сравнению с технологией экспертных систем. 
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. Что общего между технологией регрессионного анализа и нейро- 


сетевыми технологиями? Какие технологии более универсальны? 
Какие из стратегий искусственного интеллекта являются лиди- 
рующими? 

Какие свойства унаследовали нейронные сети от своего прото- 
типа — человеческого мозга? 

Почему, по вашему мнению, не сбылось третье предсказание 
Г. Саймона? 

Каким вам представляется будущее искусственного интеллекта? 


10. 


11. 


12. 


13. 
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ПРИЛОЖЕНИЕ. 
ОТЗЫВЫ РЕЦЕНЗЕНТОВ 


РЕЦЕНЗИЯ 1 
НА КНИГУ Л. Н. ЯСНИЦКОГО 
«ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ» 


Автор рецензируемой книги хорошо известен специалистам своими 
учебными пособиями, монографиями и научными работами, посвя- 
щенными развитию и применению интеллектуальных информацион- 
ных технологий. Его учебное пособие «Введение в искусственный 
интеллект», имеющее три переиздания, пользуется популярностью 
среди студентов, ученых и преподавателей российских вузов, о чем 
свидетельствует большое количество цитирований этой книги. Его 
новая книга хотя и содержит часть старых авторских наработок, 
вошедших в предыдущие издания, однако написана с учетом быстро 
меняющихся реалий современной информатики. 

Автор выдержал классическую структуру вузовского учебника. 

Первая глава является вводной и посвящена историческим собы- 
тиям, связанным с возникновением и становлением нового научного 
направления. Дается краткое (с соблюдением хронологии возник- 
новения и развития) изложение современных технологий создания 
интеллектуальных систем и области их приложений. 

Во второй главе дается популярное описание современных моделей 
представления знаний. 

В третьей главе описана технология создания экспертных систем. 

Четвертая, пятая, шестая и седьмая главы являются основными 
и наиболее полными. Показав в предыдущих главах преимущества 
и недостатки основных стратегий (технологий) создания интеллектуаль- 
ных систем, автор концентрирует внимание на лидирующей в послед- 
нее время стратегии — технологии нейросетевого моделирования. Здесь 
подробно излагаются основополагающие идеи нейроинформатики, 
начиная от принципа действия математического нейрона, первых 
успехов распознавания букв и кончая современными проектами интел- 
лектуального анализа данных. Подробно описываются как успехи, так 
и неудачи нейротехнологий, так что каждая новая идея, каждый новый 
алгоритм появляются не на пустом месте, а возникают закономерно — 
как единственный способ выхода из научного тупика. Тем самым 
учебник поддерживает принцип историзма, рассматривая явления 
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в динамике их изменения, становления во времени, в закономерном 
историческом развитии. 

Несомненным преимуществом, придающим особый колорит книге, 
является то, что в качестве примеров применения нейросетевых 
технологий автор приводит свои собственные проекты, некогда 
придуманные, реализованные и внедренные под его руководством 
и при его участии. 

Как справедливо отметил автор, нейроинформатика в настоящее 
время имеет недостаточную теоретическую базу. Успех применения 
нейросетевых технологий во многом зависит не только от знаний 
теоретического материала, но и от опыта и даже от интуиции 
исследователя. Сегодня в мире существует множество научных 
школ, которые развивают и применяют свои излюбленные нейро- 
сетевые парадигмы, свои собственные технологические приемы — 
так называемые ноу-хау, которые обычно остаются «за кадром». 
Преимущество книги состоит в том, что автор щедро делится 
собственными технологическими секретами, посвятив им целый под- 
раздел. Практическим дополнением к книге служит специальный сайт, 
содержащий комплекс лабораторных работ и авторский нейропакет — 
удобный, легко осваиваемый программный инструментарий, предна- 
значенный для создания, оптимизации и использования нейронных 
сетей. 

Главы заканчиваются изложением новых неклассических нейро- 
сетевых парадигм, которые еще не нашли широкого применения 
и перспективность которых еще окончательно не выяснена. 

Глава восьмая «Компьютерное творчество», на первый взгляд, 
выпадает из общей прагматической направленности учебника. Она 
начинается с изложения философских трактовок творчества, объясняет 
принципы моделирования музыкального и поэтического творче- 
ства, однако заканчивается серьезными проблемами моделирования 
научного творчества, в частности — возможностями моделирования 
деятельности математиков, выполняющих решение сложных краевых 
задач математической физики. 

Девятая глава подводит итог учебного курса. Технологии создания 
интеллектуальных систем сравниваются между собой как в теорети- 
ческом, так и в прикладном аспектах; излагаются также прогнозы 
автора на будущее изучаемой научной области. 

Таким образом, рецензируемая книга формирует и расширяет 
мировоззрение будущего выпускника вуза, повышая его рейтинг 
в жизни. В то же время книга является полноценным руководством для 
освоения современных технологий создания интеллектуальных систем 
и применения их для решения широкого круга практических про- 
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блем, встречающихся во многих областях деятельности современного 
человека 

Книга рекомендуется в качестве учебника по изучению дисциплины 

«Интеллектуальные системы» для направления подготовки бакалавров 

по направлениям «Фундаментальная информатика и информационные 

технологии», «Информатика и вычислительная техника», «Информа- 

ционные системы и технологии». Книга может быть полезна и для 

студентов других направлений, включающих изучение принципов 
создания интеллектуальных систем. 

Рецензент: 

Е. К. Хеннер, 

заведующий кафедрой информационных технологий 

Пермского государственного национального 


исследовательского университета, 
доктор физ.-мат. наук, профессор. 
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РЕЦЕНЗИЯ 2 
НА КНИГУ Л. Н. ЯСНИЦКОГО 
«ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ» 


В России, как и во всем мире, не снижается спрос на [Т-специалистов. 
Причем если раньше от них требовалось знание операционных систем, 
языков программирования и умение пользоваться пакетами приклад- 
ных программ, то теперь требуется знание методов интеллектуального 
анализа данных и умение их применять для решения практических 
задач. 

Интеллектуальный анализ данных — это совокупность методов об- 
наружения в данных ранее неизвестных, нетривиальных, практически 
полезных и доступных интерпретации знаний, необходимых для приня- 
тия решений в различных сферах человеческой деятельности. Наиболее 
эффективными из этих методов являются методы искусственного 
интеллекта, в частности — нейросетевые технологии. 

Рецензируемая книга представляет собой учебник, построенный 
в классическом стиле. Он включает последовательное описание 
истории возникновения и развития научной области «Искусствен- 
ный интеллект» как теоретической основы современных методов 
интеллектуального анализа данных. Раскрываются понятия данных 
и знаний, приводится описание наиболее распространенных способов 
представления знаний, а также основных технологий создания ин- 
теллектуальных систем. Сюда входят: технологии экспертных систем, 
эволюционного моделирования и технологии нейронных сетей, дается 
их сравнительный анализ. Основное внимание уделено нейросетевым 
технологиям, что обосновано современными успехами их приложений 
и все возрастающей популярностью этого математического аппара- 
та среди ІТ-специалистов. Методически последовательно изложены 
теоретические основы, принципы проектирования и оптимизации 
нейронных сетей. Возможности нейронных сетей продемонстрированы 
на примерах их применения для интеллектуального анализа данных 
в промышленности, медицине, политологии, социологии, психологии. 
Очерчен круг решаемых задач, приведен рекомендуемый автором 
алгоритм применения метода нейросетевого моделирования. 

В книге с единых позиций рассмотрены вопросы компьютерного 
творчества, причем изложение начинается с моделирования творческих 
процессов в гуманитарной сфере, после чего излагается авторский опыт 
создания интеллектуальных систем для решения краевых задач мате- 
матической физики. Заканчивается книга сопоставлением различных 
технологий интеллектуального анализа данных и обсуждением проблем 
дальнейшего развития этой научной области. 
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Книга является исчерпывающим руководством по освоению со- 
временных технологий создания интеллектуальных систем и их 
применению для интеллектуального анализа данных широкого круга 
предметных областей. Ее можно рекомендовать в качестве учебника 
по изучению дисциплины «Интеллектуальные системы» для направ- 
ления подготовки бакалавров 010300 «Фундаментальная информатика 
и информационные технологии» 
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Автор учебника, Леонид Нахимович Ясницкий, — 
доктор технических наук, профессор Пермского 
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ского университета, председатель Пермского от- 
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Его новая книга написана с учетом быстро меня- 
ющихся реалий современной информатики. Воз- 
можности методов искусственного интеллекта продемонстрированы на 
примерах их применения в промышленности, экономике, медицине, 
политологии, социологии, психологии. Целый подраздел посвящен ав- 
торским Кпом-һом — технологическим секретам, которыми автор щедро 
делится с читателем. В заключение приводится сопоставление различ- 
ных технологий интеллектуального анализа данных и обсуждение про- 
блем дальнейшего развития этой научной области. 


Книга позволяет получить необходимый минимум теоретических зна- 
ний, целостное представление о предмете и приобрести практические 
навыки разработки и применения интеллектуальных систем. 


